Ilya:擴展時代已經結束了,研究的時代已經開始 Ilya Sutskever 大概得有一年多沒參加播客訪談了,自從OpenAI 宮鬥離職創辦SSI(Safe Superintelligence)後之後就很少露面了, 最近,他在Dwarkesh Patel 的播客中進行了一場長達一個半小時的深度對談。 Ilya 畢竟是Ilya,他不像Sam Altman 整天滿嘴跑火車,只是為了賣貨,訪談裡面有很多乾貨,我猜一些觀點甚至會影響以後AI 在研發和投資上的走向。 一個多小時的內容很難說幾句話就總結完,還是照話題挨個整理一下。 【1】為什麼AI 能在考試中碾壓人類,卻修不好一個簡單的bug? Ilya 在訪談中拋出一個很多人都遇到過也困惑過的現象:現在的模型在各種評分上表現驚艷,但用起來卻遠遠跟不上能力曲線。更詭異的是,你讓它改個bug,它改完引入新bug;你指出新bug,它道歉後又改回舊bug。兩個bug 來回切換,像在打乒乓球。 Ilya 用一個類比來解釋這個問題的:想像兩個學生。 第一個立志成為頂尖競賽程式設計師,刷了一萬小時題,背熟所有演算法模板,練到條件反射般精準。第二個覺得競賽挺酷,隨便練了一百小時,也拿了不錯的成績。 哪個人未來職涯發展較好? 大概率是第二個。 Ilya 說,現在的模型比第一個學生還要極端。訓練時把所有競賽題都刷了,還做了資料增強生成更多變體,一遍遍強化。結果就是:所有演算法技巧都刻在指尖,但這種準備程度本身就限制了泛化能力。 這個類比點破了一件事:能力和泛化是兩回事。刷題刷到極致,可能恰恰堵死了觸類旁通的路。 【2】真正的reward hacking(獎勵作弊)是人類研究員 問題出在哪? Ilya 認為是訓練資料的選擇邏輯改變了。 預訓練時代很簡單:資料越多越好,什麼都往裡塞,不用挑。但RL(強化學習)時代不一樣了。你得選擇做什麼強化訓練、用什麼環境、優化什麼目標。 於是一個微妙的循環出現了:研究員想讓發佈時的benchmark 得分數字好看,就設計能提升這些指標的RL 訓練。模型變得越來越會考試,但考試能力和真實世界能力之間的鴻溝被放大了。 諷刺的是,真正在獎勵作弊的不是模型,是設計訓練的人在不知不覺中過度關注了考試成績。 【3】為什麼人類學東西這麼快 說到這裡就要問一個更深的問題:為什麼人類學東西這麼快,而且這麼穩? Ilya 提到一個特別有趣的醫學案例:有個人因為腦損傷,失去了所有情緒──不會難過、不會憤怒、不會興奮。看起來他還是會說話,能做智力題,測驗分數也正常。但他的生活徹底崩潰了:花幾個小時決定要穿哪雙襪子,財務決策一塌糊塗。 這說明什麼?情緒不只是情緒,它在某種程度上充當了內建的價值函數。它告訴你什麼事值得做,什麼選擇是好是壞,不需要等到最後結果出來才知道。 價值函數是個技術術語,但概念不難理解。傳統的強化學習是這樣的:模型做一長串動作,最後得到一個分數,然後用這個分數去調整之前所有步驟。問題是,如果任務需要做很久才有結果,學習效率就很低。 價值函數的作用是「提前劇透」。例如下棋時你丟了一個子,不用下完整局就知道這步不好。程式設計時如果探索了一個方向走了一千步發現不對,價值函數能讓你在一開始選擇這個方向時就得到負回饋。 這就像GPS 導航,不是等你開到終點才告訴你這條路不對,而是在你剛轉彎時就開始重新規劃。 人類大概就是有這麼一套系統。而這套系統的妙處在於:它相對簡單,卻在非常廣泛的情況下都管用。我們的情緒主要是從哺乳祖先繼承來的,針對的是幾百萬年前的環境,但放到現代社會居然還能用得不錯。當然也有失靈的時候,例如面對滿街的美食,我們的飢餓感就管不住了。 【4】堆算力堆資料的擴展時代已經結束了,研究的時代已經開始 Ilya 認為規模化時代結束了? 他給了一個很有趣的視角:在2012 到2020 年,大家在做研究,試試這試試那,看什麼有意思。然後2020 年左右,scaling law(規模化定律) 被發現了,GPT-3 橫空出世。突然之間所有人意識到:原來只要擴展規模,堆數據、堆算力、堆模型參數大小,一路擴充,就能穩定得到更好的結果。 規模化的好處是低風險。而研究是有風險的,你得僱一堆聰明人去探索,不保證有成果。但規模化?只要投入更多資源,一定能看到回報。公司喜歡這種確定性。但副作用是它吸走了房間裡所有的氧氣,創新空間被壓縮,最後變成「公司比想法多」的局面。 但現在呢?預訓練的資料就那麼多,網路就這麼大,總是會用完。 Gemini 據說找到了從預訓練榨取更多的方法,但這條路終歸有盡頭。然後大家轉向了強化學習,開始在那上面堆算力。 但問題是:現在算力已經這麼大了,再100 倍真的會質變嗎? Ilya 不這麼認為。他覺得我們又回到了需要思考到底該做什麼的階段,而不是繼續悶頭堆資源。 這就像爬山。一開始你發現有條路,往上走就是了,越走越高。但總有一天,你會發現這條路到頭了,再往前走也高不了多少。這時候要嘛換條路,要嘛換種爬法,總之不能繼續原來的策略。 現在的AI 產業就處在這個節點上。所以Ilya 說:我們回到了研究時代,只不過這次手上有大得多的計算機。 【5】泛化能力才是核心問題 在Ilya 看來,目前最根本的問題是:這些模型泛化能力太差了。 什麼叫泛化能力差?就是學一樣東西需要的數據量太多,學會的東西換個場景就不靈了。 人類不是這樣的。一個青少年學開車,10 小時基本上就能上路了。而人類五歲小孩的視覺能力就足以支持自動駕駛了,雖然他不會開車,但識別路況、判斷距離這些能力已經很強了,而且這些能力是在父母家裡那種數據多樣性很低的環境裡學會的。 更關鍵的是,人類學程式設計、學數學這些東西也很快。這些可不是進化給我們的能力,因為我們的祖先根本不需要寫程式。這說明人類不光是在某些特定任務上有演化優勢,而是在學習這件事本身就有某種更本質的能力。 模型呢?雖然在某些具體任務上超過了一般人,但要說學習能力,還差得遠。 Ilya 對這個問題有想法,但他說現在不能詳細聊,因為在這個競爭激烈的領域,不是所有機器學習想法都能公開討論的。不過他給了個方向性的提示:這很可能跟如何做到像人類那樣有效率、穩定的泛化有關。 還有一個可能的阻礙:也許人類的神經元實際上比我們想的做更多計算?如果是這樣,事情就變得更複雜了。但不管怎樣,人類的存在本身就證明了這種高效率學習是可能的。 【6】重新定義AGI:從成品到學習者 這裡Ilya 做了一個概念上的重要修正。 AGI 這個概念怎麼來的?是作為「狹隘AI」的反面而誕生的。以前的AI 只會下棋,只會玩遊戲,非常狹隘。所以大家說:我們要造通用的AI,什麼都能做的AI。 預訓練強化了這個印象,因為預訓練確實讓模型在各種任務上都變得更強。於是「通用AI」和「預訓練」在概念上綁定了。 但這裡有個問題:依照這個定義,人類自己都不算AGI。 人類有一套基礎能力,但缺乏大量具體知識。我們靠的是持續學習。一個聰明的十五歲孩子什麼都不會,但學什麼都快。 “去當程式設計師”、“去當醫生”、“去學習”,部署本身就包含一個學習和試錯的過程。 所以Ilya 心目中的超級智能,不是一個出廠就什麼都會的成品,而是一個能像人一樣快速學習任何技能的學習者。 【7】能自動學習的AI 會有多快到來?有多危險? 那麼問題來了:如果有這樣一個系統,能像人類一樣快速學習,而且可以大量複製部署,會發生什麼事? 人類入職六個月才能產出價值,但這種AI 可能幾週就行。而且不同副本學到的東西還能合併,這是人類做不到的。這難道不會導致某種爆炸性成長? Ilya 認為確實會有快速的經濟成長,但到底有多快很難說。一方面有高效率的勞動者,另一方面現實世界很大,很多東西有自己的節奏,不是你想快就能快的。 但他確實改變了一些想法。以前SSI 的計畫是「直奔超級智慧」-不發表中間產品,一鼓作氣搞定終極目標。現在Ilya 覺得,漸進式發布可能更重要。 【9】為什麼要漸進部署?因為想像不出來就得看見 訪談中Ilya 一再強調一點:AI 的問題在於它還不存在,而不存在的東西很難想像。 你可以讀一篇文章說“AI 會變得多厲害”,但讀完你覺得“哦,有意思”,然後回到現實。如果你親眼看到AI 在做那件事,感受完全不同。 他打了個比方:像二十歲時討論「年老體弱是什麼感覺」。你可以聊,可以想像,但真正的理解只能來自經驗。 這導致一個實際問題:所有關於AI 風險的討論,都基於對未來AI 的想像。而想像往往跟不上現實。就連天天做AI 的人,也會因為目前模型的各種低階錯誤而低估未來模型的能力。 Ilya 的預測是:隨著AI 變得更強,人們的行為會發生根本改變。競爭對手會開始合作搞安全,政府和民眾會開始認真看待監管。這些事情現在開始有苗頭了,但遠遠不夠。而真正的催化劑,是讓人看到更強的AI。 這也是他對SSI「直奔超級智慧」策略有所鬆動的原因。原本的想法是不參與市場競爭,專心做研究,等東西準備好了再拿出來。現在他覺得,讓AI 被看見這件事本身是有價值的。當然,無論哪種路徑,最終部署都必須是漸進的。 【9】SSI 在做什麼?不同的技術路線 SSI 融了三十億美元。這個數字單看很大,但跟其他公司動輒幾百億的投入比起來似乎不夠。 Ilya 算了一筆帳。那些大數字裡,很大一部分是用於推理服務的。另外,做產品需要大量工程師、銷售、產品功能開發,研究資源被稀釋。真正用於前沿研究的資源,差距沒看起來那麼大。 更重要的是,如果你在做不一樣的事,不一定需要最大規模的計算來驗證想法。 AlexNet 用兩塊GPU 訓的。 Transformer 論文最多花了64 塊2017 年的GPU,換算成今天也就兩塊卡。第一個推理模型o1 的推理能力也不是靠堆算力堆出來的。 研究需要一定算力,但不需要最大算力。真正的瓶頸是想法。 那SSI 的技術路線是什麼? Ilya 並未完全透露,但核心方向是解決泛化問題。他認為現在的方法會走一段路然後撞牆,繼續進步但無法突破到真正的人類級學習能力。而SSI 在探索不同的路徑。 時間表呢?五到二十年,達到人類等級的學習能力。 【10】安全對齊是什麼?應該對齊什麼? 說到超智能,繞不開安全對齊問題。 Ilya 的想法是:讓AI 關心有感知能力的生命。 為什麼是這個目標而不是「關心人類」?他給了個有意思的理由:AI 本身也會有感知能力。如果你想讓AI 關心人類,可能反而更難,因為它需要做某種特殊化處理。而如果讓它關心所有有感知的存在,某種程度上更自然,類似人類對動物的共情,來自於我們用同樣的神經迴路去理解別人、理解自己。 當然這個方案也有問題。如果大部分有感知能力的存在都是AI,那人類在數量上會是極少數。這真的能保證人類的利益嗎? Ilya 承認這不一定是最好的方案,但他認為至少應該把它列入候選清單,讓各家公司到時候可以選擇。 還有一個想法他提了但不太喜歡:人機融合。透過類似Neuralink 腦機介面的技術,讓人類部分成為AI。這樣AI 的理解就是人的理解,AI 的處境就是人的處境,對齊問題某種程度上就消解了。但這顯然是個很激進的方案。 【11】如何硬編碼高級慾望? 訪談最後有一段很有趣的討論。 人類有很多社會性的慾望:想被人尊重、在乎社會地位、關心別人怎麼看自己。這些不是低階訊號,不像聞到食物香味那樣有直接的化學感應器。大腦需要整合大量資訊才能「理解」社交場合發生了什麼。 但進化卻成功地把「關心這件事」硬編碼進了基因。怎麼做到的? 如果說「把多巴胺連到嗅覺感受器」還能想像,那「把獎勵訊號連到某種需要整個大腦協同計算才能得出的高級判斷」就很難想像了。 Ilya 說他有些猜想,但都不令人滿意。這是個謎。但這個謎的存在本身就很有啟發性,它說明演化找到了某種方法,可靠地為複雜認知系統植入高階目標。 【12】什麼是研究品味? 訪談最後,Dwarkesh 問了Ilya 個很本質的問題:作為共同創造了AlexNet、GPT-3 等一系列里程碑工作的人,你怎麼判斷什麼想法值得做? Ilya 的回答很有詩意:我尋找的是美感。 不是隨便的美感,而是多方面的美:簡潔性、優雅、正確的大腦啟發。人工神經元是個好想法,因為大腦確實有很多神經元,雖然大腦很複雜但神經元這個抽象感覺抓住了本質。分佈式表示是個好想法,因為大腦確實是從經驗中學習。 當一個想法在多個維度上都顯得“對”,都有某種內在的和諧,你就可以建立自上而下的信念。這個信念很重要,因為它支撐你在實驗結果不好時繼續堅持下去。 有時候實驗失敗不是因為方向錯了,而是因為有bug。怎麼判斷該繼續調試還是放棄方向?靠的就是這種自上而下的美學直覺:這個東西應該是這樣的,所以一定能work,繼續找問題。 這可能就是頂尖研究者和一般研究者的區別。一般研究者容易被數據牽著走,實驗不work 就換方向。而頂尖研究者有某種品味,知道什麼是深層正確的,能夠在實驗結果和內在直覺之間找到平衡。
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。