来自 宝玉（@dotey）的推文线程

Ilya：擴展時代已經結束了，研究的時代已經開始 Ilya Sutskever 大概得有一年多沒參加播客訪談了，自從OpenAI 宮鬥離職創辦SSI（Safe Superintelligence）後之後就很少露面了， 最近，他在Dwarkesh Patel 的播客中進行了一場長達一個半小時​​的深度對談。 Ilya 畢竟是Ilya，他不像Sam Altman 整天滿嘴跑火車，只是為了賣貨，訪談裡面有很多乾貨，我猜一些觀點甚至會影響以後AI 在研發和投資上的走向。 一個多小時的內容很難說幾句話就總結完，還是照話題挨個整理一下。 【1】為什麼AI 能在考試中碾壓人類，卻修不好一個簡單的bug？ Ilya 在訪談中拋出一個很多人都遇到過也困惑過的現象：現在的模型在各種評分上表現驚艷，但用起來卻遠遠跟不上能力曲線。更詭異的是，你讓它改個bug，它改完引入新bug；你指出新bug，它道歉後又改回舊bug。兩個bug 來回切換，像在打乒乓球。 Ilya 用一個類比來解釋這個問題的：想像兩個學生。 第一個立志成為頂尖競賽程式設計師，刷了一萬小時題，背熟所有演算法模板，練到條件反射般精準。第二個覺得競賽挺酷，隨便練了一百小時，也拿了不錯的成績。 哪個人未來職涯發展較好？ 大概率是第二個。 Ilya 說，現在的模型比第一個學生還要極端。訓練時把所有競賽題都刷了，還做了資料增強生成更多變體，一遍遍強化。結果就是：所有演算法技巧都刻在指尖，但這種準備程度本身就限制了泛化能力。 這個類比點破了一件事：能力和泛化是兩回事。刷題刷到極致，可能恰恰堵死了觸類旁通的路。 【2】真正的reward hacking（獎勵作弊）是人類研究員 問題出在哪？ Ilya 認為是訓練資料的選擇邏輯改變了。 預訓練時代很簡單：資料越多越好，什麼都往裡塞，不用挑。但RL（強化學習）時代不一樣了。你得選擇做什麼強化訓練、用什麼環境、優化什麼目標。 於是一個微妙的循環出現了：研究員想讓發佈時的benchmark 得分數字好看，就設計能提升這些指標的RL 訓練。模型變得越來越會考試，但考試能力和真實世界能力之間的鴻溝被放大了。 諷刺的是，真正在獎勵作弊的不是模型，是設計訓練的人在不知不覺中過度關注了考試成績。 【3】為什麼人類學東西這麼快 說到這裡就要問一個更深的問題：為什麼人類學東西這麼快，而且這麼穩？ Ilya 提到一個特別有趣的醫學案例：有個人因為腦損傷，失去了所有情緒──不會難過、不會憤怒、不會興奮。看起來他還是會說話，能做智力題，測驗分數也正常。但他的生活徹底崩潰了：花幾個小時決定要穿哪雙襪子，財務決策一塌糊塗。 這說明什麼？情緒不只是情緒，它在某種程度上充當了內建的價值函數。它告訴你什麼事值得做，什麼選擇是好是壞，不需要等到最後結果出來才知道。 價值函數是個技術術語，但概念不難理解。傳統的強化學習是這樣的：模型做一長串動作，最後得到一個分數，然後用這個分數去調整之前所有步驟。問題是，如果任務需要做很久才有結果，學習效率就很低。 價值函數的作用是「提前劇透」。例如下棋時你丟了一個子，不用下完整局就知道這步不好。程式設計時如果探索了一個方向走了一千步發現不對，價值函數能讓你在一開始選擇這個方向時就得到負回饋。 這就像GPS 導航，不是等你開到終點才告訴你這條路不對，而是在你剛轉彎時就開始重新規劃。 人類大概就是有這麼一套系統。而這套系統的妙處在於：它相對簡單，卻在非常廣泛的情況下都管用。我們的情緒主要是從哺乳祖先繼承來的，針對的是幾百萬年前的環境，但放到現代社會居然還能用得不錯。當然也有失靈的時候，例如面對滿街的美食，我們的飢餓感就管不住了。 【4】堆算力堆資料的擴展時代已經結束了，研究的時代已經開始 Ilya 認為規模化時代結束了？ 他給了一個很有趣的視角：在2012 到2020 年，大家在做研究，試試這試試那，看什麼有意思。然後2020 年左右，scaling law(規模化定律) 被發現了，GPT-3 橫空出世。突然之間所有人意識到：原來只要擴展規模，堆數據、堆算力、堆模型參數大小，一路擴充，就能穩定得到更好的結果。 規模化的好處是低風險。而研究是有風險的，你得僱一堆聰明人去探索，不保證有成果。但規模化？只要投入更多資源，一定能看到回報。公司喜歡這種確定性。但副作用是它吸走了房間裡所有的氧氣，創新空間被壓縮，最後變成「公司比想法多」的局面。 但現在呢？預訓練的資料就那麼多，網路就這麼大，總是會用完。 Gemini 據說找到了從預訓練榨取更多的方法，但這條路終歸有盡頭。然後大家轉向了強化學習，開始在那上面堆算力。 但問題是：現在算力已經這麼大了，再100 倍真的會質變嗎？ Ilya 不這麼認為。他覺得我們又回到了需要思考到底該做什麼的階段，而不是繼續悶頭堆資源。 這就像爬山。一開始你發現有條路，往上走就是了，越走越高。但總有一天，你會發現這條路到頭了，再往前走也高不了多少。這時候要嘛換條路，要嘛換種爬法，總之不能繼續原來的策略。 現在的AI 產業就處在這個節點上。所以Ilya 說：我們回到了研究時代，只不過這次手上有大得多的計算機。 【5】泛化能力才是核心問題 在Ilya 看來，目前最根本的問題是：這些模型泛化能力太差了。 什麼叫泛化能力差？就是學一樣東西需要的數據量太多，學會的東西換個場景就不靈了。 人類不是這樣的。一個青少年學開車，10 小時基本上就能上路了。而人類五歲小孩的視覺能力就足以支持自動駕駛了，雖然他不會開車，但識別路況、判斷距離這些能力已經很強了，而且這些能力是在父母家裡那種數據多樣性很低的環境裡學會的。 更關鍵的是，人類學程式設計、學數學這些東西也很快。這些可不是進化給我們的能力，因為我們的祖先根本不需要寫程式。這說明人類不光是在某些特定任務上有演化優勢，而是在學習這件事本身就有某種更本質的能力。 模型呢？雖然在某些具體任務上超過了一般人，但要說學習能力，還差得遠。 Ilya 對這個問題有想法，但他說現在不能詳細聊，因為在這個競爭激烈的領域，不是所有機器學習想法都能公開討論的。不過他給了個方向性的提示：這很可能跟如何做到像人類那樣有效率、穩定的泛化有關。 還有一個可能的阻礙：也許人類的神經元實際上比我們想的做更多計算？如果是這樣，事情就變得更複雜了。但不管怎樣，人類的存在本身就證明了這種高效率學習是可能的。 【6】重新定義AGI：從成品到學習者 這裡Ilya 做了一個概念上的重要修正。 AGI 這個概念怎麼來的？是作為「狹隘AI」的反面而誕生的。以前的AI 只會下棋，只會玩遊戲，非常狹隘。所以大家說：我們要造通用的AI，什麼都能做的AI。 預訓練強化了這個印象，因為預訓練確實讓模型在各種任務上都變得更強。於是「通用AI」和「預訓練」在概念上綁定了。 但這裡有個問題：依照這個定義，人類自己都不算AGI。 人類有一套基礎能力，但缺乏大量具體知識。我們靠的是持續學習。一個聰明的十五歲孩子什麼都不會，但學什麼都快。 “去當程式設計師”、“去當醫生”、“去學習”，部署本身就包含一個學習和試錯的過程。 所以Ilya 心目中的超級智能，不是一個出廠就什麼都會的成品，而是一個能像人一樣快速學習任何技能的學習者。 【7】能自動學習的AI 會有多快到來？有多危險？ 那麼問題來了：如果有這樣一個系統，能像人類一樣快速學習，而且可以大量複製部署，會發生什麼事？ 人類入職六個月才能產出價值，但這種AI 可能幾週就行。而且不同副本學到的東西還能合併，這是人類做不到的。這難道不會導致某種爆炸性成長？ Ilya 認為確實會有快速的經濟成長，但到底有多快很難說。一方面有高效率的勞動者，另一方面現實世界很大，很多東西有自己的節奏，不是你想快就能快的。 但他確實改變了一些想法。以前SSI 的計畫是「直奔超級智慧」－不發表中間產品，一鼓作氣搞定終極目標。現在Ilya 覺得，漸進式發布可能更重要。 【9】為什麼要漸進部署？因為想像不出來就得看見 訪談中Ilya 一再強調一點：AI 的問題在於它還不存在，而不存在的東西很難想像。 你可以讀一篇文章說“AI 會變得多厲害”，但讀完你覺得“哦，有意思”，然後回到現實。如果你親眼看到AI 在做那件事，感受完全不同。 他打了個比方：像二十歲時討論「年老體弱是什麼感覺」。你可以聊，可以想像，但真正的理解只能來自經驗。 這導致一個實際問題：所有關於AI 風險的討論，都基於對未來AI 的想像。而想像往往跟不上現實。就連天天做AI 的人，也會因為目前模型的各種低階錯誤而低估未來模型的能力。 Ilya 的預測是：隨著AI 變得更強，人們的行為會發生根本改變。競爭對手會開始合作搞安全，政府和民眾會開始認真看待監管。這些事情現在開始有苗頭了，但遠遠不夠。而真正的催化劑，是讓人看到更強的AI。 這也是他對SSI「直奔超級智慧」策略有所鬆動的原因。原本的想法是不參與市場競爭，專心做研究，等東西準備好了再拿出來。現在他覺得，讓AI 被看見這件事本身是有價值的。當然，無論哪種路徑，最終部署都必須是漸進的。 【9】SSI 在做什麼？不同的技術路線 SSI 融了三十億美元。這個數字單看很大，但跟其他公司動輒幾百億的投入比起來似乎不夠。 Ilya 算了一筆帳。那些大數字裡，很大一部分是用於推理服務的。另外，做產品需要大量工程師、銷售、產品功能開發，研究資源被稀釋。真正用於前沿研究的資源，差距沒看起來那麼大。 更重要的是，如果你在做不一樣的事，不一定需要最大規模的計算來驗證想法。 AlexNet 用兩塊GPU 訓的。 Transformer 論文最多花了64 塊2017 年的GPU，換算成今天也就兩塊卡。第一個推理模型o1 的推理能力也不是靠堆算力堆出來的。 研究需要一定算力，但不需要最大算力。真正的瓶頸是想法。 那SSI 的技術路線是什麼？ Ilya 並未完全透露，但核心方向是解決泛化問題。他認為現在的方法會走一段路然後撞牆，繼續進步但無法突破到真正的人類級學習能力。而SSI 在探索不同的路徑。 時間表呢？五到二十年，達到人類等級的學習能力。 【10】安全對齊是什麼？應該對齊什麼？ 說到超智能，繞不開安全對齊問題。 Ilya 的想法是：讓AI 關心有感知能力的生命。 為什麼是這個目標而不是「關心人類」？他給了個有意思的理由：AI 本身也會有感知能力。如果你想讓AI 關心人類，可能反而更難，因為它需要做某種特殊化處理。而如果讓它關心所有有感知的存在，某種程度上更自然，類似人類對動物的共情，來自於我們用同樣的神經迴路去理解別人、理解自己。 當然這個方案也有問題。如果大部分有感知能力的存在都是AI，那人類在數量上會是極少數。這真的能保證人類的利益嗎？ Ilya 承認這不一定是最好的方案，但他認為至少應該把它列入候選清單，讓各家公司到時候可以選擇。 還有一個想法他提了但不太喜歡：人機融合。透過類似Neuralink 腦機介面的技術，讓人類部分成為AI。這樣AI 的理解就是人的理解，AI 的處境就是人的處境，對齊問題某種程度上就消解了。但這顯然是個很激進的方案。 【11】如何硬編碼高級慾望？ 訪談最後有一段很有趣的討論。 人類有很多社會性的慾望：想被人尊重、在乎社會地位、關心別人怎麼看自己。這些不是低階訊號，不像聞到食物香味那樣有直接的化學感應器。大腦需要整合大量資訊才能「理解」社交場合發生了什麼。 但進化卻成功地把「關心這件事」硬編碼進了基因。怎麼做到的？ 如果說「把多巴胺連到嗅覺感受器」還能想像，那「把獎勵訊號連到某種需要整個大腦協同計算才能得出的高級判斷」就很難想像了。 Ilya 說他有些猜想，但都不令人滿意。這是個謎。但這個謎的存在本身就很有啟發性，它說明演化找到了某種方法，可靠地為複雜認知系統植入高階目標。 【12】什麼是研究品味？ 訪談最後，Dwarkesh 問了Ilya 個很本質的問題：作為共同創造了AlexNet、GPT-3 等一系列里程碑工作的人，你怎麼判斷什麼想法值得做？ Ilya 的回答很有詩意：我尋找的是美感。 不是隨便的美感，而是多方面的美：簡潔性、優雅、正確的大腦啟發。人工神經元是個好想法，因為大腦確實有很多神經元，雖然大腦很複雜但神經元這個抽象感覺抓住了本質。分佈式表示是個好想法，因為大腦確實是從經驗中學習。 當一個想法在多個維度上都顯得“對”，都有某種內在的和諧，你就可以建立自上而下的信念。這個信念很重要，因為它支撐你在實驗結果不好時繼續堅持下去。 有時候實驗失敗不是因為方向錯了，而是因為有bug。怎麼判斷該繼續調試還是放棄方向？靠的就是這種自上而下的美學直覺：這個東西應該是這樣的，所以一定能work，繼續找問題。 這可能就是頂尖研究者和一般研究者的區別。一般研究者容易被數據牽著走，實驗不work 就換方向。而頂尖研究者有某種品味，知道什麼是深層正確的，能夠在實驗結果和內在直覺之間找到平衡。