top of page

選優測試 網企必備

Updated: Apr 28

公元前167年至164年之間的《但以理書》,講述了巴比倫尼亞國王尼布甲尼撒攻打耶路撒冷,俘虜了以色列囚犯,並將他們帶回巴比倫的故事。

尼布甲尼撒下令要挑選最英俊、聰明、健康的囚犯接受訓練,好讓他們在皇宮裏執勤。按照國王的命令,這些囚犯會有3年時間學習巴比倫語,並享用與皇室成員相同的酒食。但囚犯但以理暗暗發誓,他不會讓皇宮的酒食「玷污」自己的身心。他說服了守衞只給他和3位朋友吃素食,因此在這3年的訓練期內,得以延續他們的素食方式。

3年期滿後,這4個人的智慧和技能遠超常人,國王最終選擇了但以理和他的素食夥伴們,而沒有挑選雜食者。這一仗勝利可能不會讓如今的素食主義者感到訝異。

但以理似乎已經勾畫出現今臨床科學試驗的大致輪廓:他選擇自己和他的朋友們作為自願的受試對象;非素食者的囚犯則為對照組,測試的結果顯示素食者最低限度沒有因為素食而影響其優秀的體格及智慧。

最近一本新書Power of Experiments描述了上述的故事,並認為這是利用實驗方式作為選優方案的始祖。到了今天,這種選優測試已經是互聯網企業的必備技能,例如在淘寶的應用上,可能每天就有過千個選優測試在同時發生,找出最佳的用戶體驗。不過實驗的背後有一些關注點的定義是類似的,例如:

  • 對照組:該組作為與實驗組進行比較的基礎;實驗組:小組中的實驗參與者將被施加額外的測試因素;

  • 自變量:用作衡量影響的變量;

  • 因變量:關注的結果;

  • 平均效應:受測試對象加入處理因素後,通過比較實驗組與對照組所得出的平均效應。

你可能會問實驗選優的方式,為什麼現今這個時代如此重要?因為在過去線下的環境,很難做到像互聯網的出現後,擁有可以作出大量實時測試的技術能力。作為大數據的專家,筆者認為更有趣的是在接近全量數據的環境收集下,每天的自然「意外」結果可以給予我大量未來選優的靈感。例如某地方忽然停電,幾天後恢復供電,購買行為與平常有差異;「光棍節」凌晨的頭十分鐘到淘寶購買的顧客,裏面出現一群平時從來不光顧的用戶,這都會意味着什麼?

車品覺_紅杉資本中國專家合夥人、阿里巴巴商學院特聘教授暨學術委員會委員

Recent Posts

See All
選擇胖模型還是胖鞍具?

打開任何人工智能(AI)方案,你會看到兩種完全不同的產品策略在較量:一種叫做胖模型(Fat Model),另一種叫做胖鞍具(Fat Harness)。 胖模型的信念很直白:以更大的大腦解決更多的問題。參數多、數據龐大、算力強,模型自然顯得聰明。這驅動了ChatGPT、Claude和Grok之間的競賽──每一代都宣稱新產品比上一代更強,而企業只要付費就能直接使用,代價是你的AI能力完全綁定在供應商的

 
 
慎防智能代理「無聲」脫軌

試想想,人工智能(AI)系統已在生產環境中完成部署,但究竟要如何防止AI「悄然失靈」?過去3個月,全球超大規模企業在AI基礎設施上的資本支出達到一個前所未有的量級。單憑這一數據,人們或許會得出結論:AI的生產化部署正在全力推進,市場充滿信心。 然而,7月份第一周,來自不同領域的幾個訊號同時浮現,揭示出一個更為複雜的真相。一邊是史無前例的基礎設施投資;另一邊是一群深諳「系統可靠性」的專家──那些專門

 
 
AI預算黑洞 根源在架構設計

過去兩年。美國眾企業不約而同墮入一個速成陷阱: 認為購買了一個模型、聘請幾位演算法工程師、便能成功實現人工智能 (AI) 落地。然而,即使模型選擇正確數據卻 難以整合;數據成功整合,系統卻無法運行;系統成功運行,但業務部門不會操作;即使學會操作,3個月後模型又變得過時。 問題根源其實不在模型,而在架構。猶如建造大樓,若設計圖存在缺陷,再昂貴的材料也難以支撐。許多企業投入巨資購買「鋼筋水泥」(模型和

 
 
bottom of page