top of page

大數據治理與管理

Updated: Apr 28

什麼是大數據治理(Data Governances)?國際資料管理協會(DAMA)給出的定義為「數據治理是對資料資產管理行使權力和控制的活動集合」,很多人卻有疑問,企業忽然都在大量關注數據治理的原因何在。

首先我覺得要從大數據的3個來源說起:一、人類日常生活中經過使用很多的數碼服務而產生的數據,但數據權屬混亂;二、感測器及物聯網嵌入到物理設備,在監察及感知的過程中產生大量數據;三、因為科學及經濟的探索及研究,例如DNA、天氣、生物、海洋和太空所產生的數據。

由於上述的數據類型之豐富性及指數式增長速度,大家意識到以小量樣本的分析方法及決策存在缺陷。由此大數據的分析成為了大趨勢,而傳統處理數據的理念和方法出現了變化。

那大數據治理是什麼,筆者認為必須要先搞明白管理與治理在大數據營運中是一個互為作用的關係,「管」理的主體是企業的最高決策層,必須為企業定位戰略方向然後經過策劃、計劃、資源配置、行動以獲取並提高數據產出的價值。而「治」理沒有很具體的主體,一般包括了多個利益持份者,通過協商去解決一些邊界不清晰、前瞻性的問題,確保數據價值最大化。

所以千萬不要簡單認為大數據治理是數據治理的升級版,因為大數據的外部性本質必然涉及複雜的生態合作,引發的法律及合規風險也很致命。這個跨度比起經營一個百貨公司跟淘寶網的差距還要大。

筆者一直在強調大數據的「用」即應用,與數據的「養」即培養,可以比喻為數碼經濟中的兩隻無形之手,而管與治的配置要能讓他們產生正面迴圈,用而優則養,養而優則用,加速數碼化轉型。

舉個例子,世界各地城市的政府都希望通過行政手段去推動開放公共數據,內地更認為這個是促進科技發展的必然趨勢,但效果告訴我們,儘管由政府強勢主推,政府內部的數據對外開放至今還是未成氣候,也不用說企業數據共用的低參與度了。從管理的角度看,北京及上海臨港正在積極推動數據共用專區,希望用政企開放數據在規管上開路。但從治理的角度看,不同的持份者(包括普羅大眾)從共用得到的好處及風險要找出平衡點,相信這就是新時代給我們的課題了。

Recent Posts

See All
AI預算黑洞 根源在架構設計

過去兩年。美國眾企業不約而同墮入一個速成陷阱: 認為購買了一個模型、聘請幾位演算法工程師、便能成功實現人工智能 (AI) 落地。然而,即使模型選擇正確數據卻 難以整合;數據成功整合,系統卻無法運行;系統成功運行,但業務部門不會操作;即使學會操作,3個月後模型又變得過時。 問題根源其實不在模型,而在架構。猶如建造大樓,若設計圖存在缺陷,再昂貴的材料也難以支撐。許多企業投入巨資購買「鋼筋水泥」(模型和

 
 
智能代理編程戰 懂人機協作致勝

上周把兩個消息放在一起看,很有意思。 第一個,Anthropic宣布Claude Code推出Artifacts,讓軟件工程師在寫程式的過程中,業務主管能同時打開網頁儀表板,就能看到軟件即時更新及開發的狀態。 第二個,中國人民大學和微軟亞洲研究院聯合推出一個叫Arbor開源自主人工智能體的新框架,系統能自動提出假設、修改代碼,運行真實實驗並從結果中學習,自動優化解決問題。 過去一年大家比併的是模型

 
 
集結舊手機算力 媲美當今伺服器

你可曾想過,你抽屜裏那部4年前的舊手機,可能很有價值? 這個星期,Google Research聯同加州大學聖地牙哥分校(UCSD)公布一項創新計劃:運用2000部退役的Pixel手機,構建一個真實可用的雲端計算平台。這不僅是概念驗證,更是一個供數百名學者與研究人員實際操作的生產級環境。處理方式十分直接,將舊手機的熒幕、電池、外殼全部移除,僅保留主機板,透過Kubernetes技術組成叢集,直接轉

 
 
bottom of page