top of page

共生AI與超智能危機

上周説到「共生人工 智能」(Symbiotic AI) 是在人工智能(AI)領域備受關注的概念,它代表了一種觀念上的轉變:從將 Al 視為單純工具或潛在對手,轉變為增強人類智慧與能力的協作夥伴 。 那什麼是共生AI? 共生AI的核心是指,人類與AI系統之間的一種協作夥伴關係,雙方共同實現任何一方都無法單獨有效完成的目標。 這種關係是互惠互利的:即為「共生」。這個術語直接借用了生物學中的「共生」概念, 描述兩種不同生物體之間密切、長期互相依賴的關係(例如蜜蜂與花朵、小丑魚與海葵)。不過,對於人類與AI達到共生,很多專家都充滿懷疑。 最近又有另一個負面概念叫 「Recursive Self-improvement Cycle」(遞歸式自我改進循環),意思是一旦通用人工智能 (AGI) 擁有與人類同等水平的智能時,它就可以開始改進自己的代碼,在極短時間內從人類的水平,迅速達到遠超人類的「超級智能」 ( Superintelligence) 這爆炸式時刻,可能在幾天甚至幾小時內發生,使人類沒有時間作出反應,或實施安全保護措施。正如 IA安全專家亞姆波爾斯基 (Roman Yampolskiy) 所強調,根本問題在於控制,歷史上沒有一個能力較弱的物種成功對一個能力更強的智能體,保持無限期控制的先例。 從共生AI 框架內常見的兩種模型,其一是人類直接參與每一個決策,其二是AI系統在大多數任務中自主運行,但人類監督其整體情況。我們的應對措施是否足夠 ? 答案似乎不容我們太樂觀,被譽為現代「人工智能教父」的科學家班吉歐 ( Yoshua Bengio) 及辛頓 (Geoffrey Hinton)、蘋果公司聯台創辦人沃茲尼克 ( Steve Wozniak ) 等全球逾 3200多名公眾人物,都在呼籲各界立即暫停研發超級智能。他們指出,如果太急進打造超越人類認知的超級智能,可能導致經濟損失、自由與權利被掠奪,甚至人類滅絕。在未獲得公眾支持前,禁止開發超級智能。 專家們幾乎一致的呼籲是明確地告訴我們應把 AI的風險提升到與核戰爭、流行病同等程度的全球優先事項。

Recent Posts

See All
慎防智能代理「無聲」脫軌

試想想,人工智能(AI)系統已在生產環境中完成部署,但究竟要如何防止AI「悄然失靈」?過去3個月,全球超大規模企業在AI基礎設施上的資本支出達到一個前所未有的量級。單憑這一數據,人們或許會得出結論:AI的生產化部署正在全力推進,市場充滿信心。 然而,7月份第一周,來自不同領域的幾個訊號同時浮現,揭示出一個更為複雜的真相。一邊是史無前例的基礎設施投資;另一邊是一群深諳「系統可靠性」的專家──那些專門

 
 
AI預算黑洞 根源在架構設計

過去兩年。美國眾企業不約而同墮入一個速成陷阱: 認為購買了一個模型、聘請幾位演算法工程師、便能成功實現人工智能 (AI) 落地。然而,即使模型選擇正確數據卻 難以整合;數據成功整合,系統卻無法運行;系統成功運行,但業務部門不會操作;即使學會操作,3個月後模型又變得過時。 問題根源其實不在模型,而在架構。猶如建造大樓,若設計圖存在缺陷,再昂貴的材料也難以支撐。許多企業投入巨資購買「鋼筋水泥」(模型和

 
 
智能代理編程戰 懂人機協作致勝

上周把兩個消息放在一起看,很有意思。 第一個,Anthropic宣布Claude Code推出Artifacts,讓軟件工程師在寫程式的過程中,業務主管能同時打開網頁儀表板,就能看到軟件即時更新及開發的狀態。 第二個,中國人民大學和微軟亞洲研究院聯合推出一個叫Arbor開源自主人工智能體的新框架,系統能自動提出假設、修改代碼,運行真實實驗並從結果中學習,自動優化解決問題。 過去一年大家比併的是模型

 
 
bottom of page