top of page

數據匿名化 可用不可看

Updated: Apr 28

「匿名數據」(Anonymous data)為什麼對未來數據驅動(Data Driven)很重要?典型的匿名數據是把資料中一些敏感個人訊息,例如名字和電郵地址等個別特徵剝離,我叫作De-identify,以便讓個人身份無法被識別出來。經過這個過程後,數據可以合法地自由使用並轉移給第三方。從醫療保健、金融科技到廣告領域,「匿名化」數據使用也隨着個人私隱意識加強而日益吃重。 然而,弔詭的地方是匿名數據可以被還原,當有足夠的數據量通過機器學習,進行逆向技術以重新識別某個體不是難事。 美國有研究指出,可以使用15個較通用的特徵(包括年齡、性別和婚姻狀況等)在任何已經被「匿名」的數據中,正確地重新識別99.98%的個人。 另外,有研究人員開發了工具,允許所有人檢查自己的匿名程度。只要提供部分的郵政編碼、性別和出生日期(不包括年份),軟件會計算出在任何匿名數據中重新被識破的概率。如果你願意再提供婚姻及就業狀況等,很快個人身份就在匿名數據中原形畢露。 事實證明匿名並不是真的安全,早在2012年,英國教育部舉辦了一場活動,旨在展示匿名數據的有效性。然而,參加該活動的一名學生很快就能從這些數據中認出自己,原因是他以高分通過的其中一個考試僅有較少人參與。我們經常獲保證,指匿名化將使我們的個人訊息安全。但事實證明,去身份標識遠遠不足以保護人們的數據私隱。匿名化的標準必須變得更健全,同時足夠應對新科技所產生的新威脅。 近年數據安全技術發展蓬勃,並隨着大數據應用而大受關注。其中有3個技術特別值得留意: 1)差分私隱(Differential Privacy):當從統計數據庫查詢時,最大化數據查詢的準確性, 同時最大限度減少識別其紀錄的機會。 2)同態加密(Homomorphic Encryption):在不解密的條件下,對加密數據內容進行有限度運算及分析,而不會影響保密性。 3)聯邦學習(Federated Learning):在數據不共享的情況下,一種加密的分布式機器學習,參與各方可以在不披露底層數據和相關加密形態的前提下共建模型。 幾年前在阿里的時候,我們一直提倡希望做到「數據可用不可看」,也許這才是數據應用全力推進的前提。

Recent Posts

See All
AI預算黑洞 根源在架構設計

過去兩年。美國眾企業不約而同墮入一個速成陷阱: 認為購買了一個模型、聘請幾位演算法工程師、便能成功實現人工智能 (AI) 落地。然而,即使模型選擇正確數據卻 難以整合;數據成功整合,系統卻無法運行;系統成功運行,但業務部門不會操作;即使學會操作,3個月後模型又變得過時。 問題根源其實不在模型,而在架構。猶如建造大樓,若設計圖存在缺陷,再昂貴的材料也難以支撐。許多企業投入巨資購買「鋼筋水泥」(模型和

 
 
智能代理編程戰 懂人機協作致勝

上周把兩個消息放在一起看,很有意思。 第一個,Anthropic宣布Claude Code推出Artifacts,讓軟件工程師在寫程式的過程中,業務主管能同時打開網頁儀表板,就能看到軟件即時更新及開發的狀態。 第二個,中國人民大學和微軟亞洲研究院聯合推出一個叫Arbor開源自主人工智能體的新框架,系統能自動提出假設、修改代碼,運行真實實驗並從結果中學習,自動優化解決問題。 過去一年大家比併的是模型

 
 
集結舊手機算力 媲美當今伺服器

你可曾想過,你抽屜裏那部4年前的舊手機,可能很有價值? 這個星期,Google Research聯同加州大學聖地牙哥分校(UCSD)公布一項創新計劃:運用2000部退役的Pixel手機,構建一個真實可用的雲端計算平台。這不僅是概念驗證,更是一個供數百名學者與研究人員實際操作的生產級環境。處理方式十分直接,將舊手機的熒幕、電池、外殼全部移除,僅保留主機板,透過Kubernetes技術組成叢集,直接轉

 
 
bottom of page