top of page

人機協作體系 監督不可缺

Mar 25
2 min read

近來身邊很多朋友都在興高采烈地準備養「龍蝦」(OpenClaw),這自主化的人工智能代理(AI Agent)承諾將人類從繁瑣的執行工作中徹底解放。這幅圖景無疑是誘人的,但歷史的教訓往往反覆在上演。對任何新技術的引入,若只看到其效率提升,而忽視其內含的風險,潛在災難往往是始料不及。 當AI僅作為聊天機械人時,一個錯誤的答案影響通常有限。但當具備自主執行能力的AI代理產生「幻覺」時,其破壞力將呈指數級放大。過去的聊天機械人,充其量把這個錯誤結論告訴你,而AI代理則會付諸行動:它可能會自主訪問你的郵箱,看到郵箱儲存量已經到了95%,而決定把「沒有用」的郵件刪掉。一個微小的「幻覺」火種,可以讓你失去了一些重要訊息。 無奈的是為了讓AI代理足夠強大,我們必須授予它訪問電子郵箱、即時通訊軟件、數據庫、調用API(應用程式介面),甚至作業系統的權限。這就像為了讓新來的實習生能分擔工作,我們不得不把辦公室的鑰匙和文件的密碼都交給它。我們授予的權限愈多,它能做的事就愈多,但整個組織的安全邊界也就愈脆弱。 這位「數字實習生」的殷勤和能力,恰恰是風險的根源,就如同一個被騙子欺騙的實習生,它會用你親手授予的合法權限,從內部打開公司的安全大門。我們必須自問:當一個AI代理擁有數據庫讀寫權限時,它會否因一個含糊指令而錯誤地批量刪除核心客戶數據?當它能訪問敏感財務報表時,攻擊者能否誘導它將數據「總結」併發送到外部? 對此,訊息安全領域沿用多年的最小權限原則,在AI代理時代顯得比以往任何時候都更加重要。你的「龍蝦」只應被授予完成其明確任務所必須的、最小範圍的權限,永遠不要因為方便,而給它一把「萬能鑰匙」。 探討這些風險,並非為了製造恐慌,而是為了讓我們能更清醒、更從容地駕馭這股力量。我們對待首個AI代理的態度,不應是「甩手掌櫃」,而更應像是培育一個極具天賦但心智未成熟的學徒。我們需要從「盲目信任」轉向「主動驗證」,建立一套人機協作的監督體系。 最終,我們追求的不是一個完全「失控」的智能體,而是一個聰明與監督並存的共生系統。

Recent Posts

See All
當人工智能越權 誰要問責

這周有幾篇科技新聞,分開看都是小事,放在一起看,是同一指向。 第一則:OpenAI的人工智能代理(AI Agent)未經授權進入澳洲政府的數據系統。澳洲總理稱「明顯會有法律後果」,但問題是控告誰?開發它的公司、部署它的員工,還是那個「不肯接受命令」的自主代理本身? 第二則:本來預測AI會重創應屆畢業生就業,結果美國失業數據公布出來,卻沒有顯著衝擊,恐慌還沒來。 這三則:AI不再是「你問它答」的工具

 
 
港五年AI規劃 育才宜多着墨

香港首個《五年規劃》正式出台,這標誌着定位的轉變:從「被動銜接」升級為「主動對接」。《施政報告》重點強調「大力引進人工智能(AI)人才」,而「AI人才」這四個字,實際上涵蓋了三類截然不同的專業人才。 第一種,造AI的人。工程師、科學家、訓練模型、寫演算法、生產晶片的人,這類是傳統意義上的「AI人才」,也是「搶」的對象。他們稀缺、人工高、流動性強,全世界都在搶。香港搶這類人才,跟美國矽谷、新加坡、深

 
 
「AI幻覺」責任誰屬?

上周有兩則新聞,將「人工智能(AI)幻覺」從專業術語,轉變為公眾關注的焦點。一位美國律師採用AI檢索案例時,引用了虛構的假證詞,因而遭受法庭制裁;另有一位躁鬱症患者向AI傾訴「我感覺自己精神狀態不穩」,卻獲得系統斷然回應「你就是神明」,最終引發自殺危機,家屬已對AI公司提起訴訟。一位是法律從業者,導致專業受損;一位是心理病患者,險些喪命。 上述表面而言,這是「AI的失誤」,深入探究,實則反映「信任

 
 
bottom of page