重新看了一下Andrej Karpathy 和Ilya Sutskever 兩位的播客,再藉助Gemini 3 和NotebookLM 的梳理,對兩位的訪談有了基礎的感受: Andrej - “工程落地派” Ilya - “科學探索派” # Andrej Karpathy 的“漸進主義”與“動物建構論” youtube.com/watch?v=lXUZvy… 核心主題:從“喚醒幽靈”到“建造動物”,AI Agent 的落地之路漫長而艱難。 Andrej Karpathy 在訪談中展現了他作為頂尖工程師和教育者的務實視角。他沒有過度渲染AGI 的即時降臨,而是給當前的AI 熱潮潑了一盆極其有價值的冷水——或者說是「清醒劑」。 1. “喚醒幽靈” vs “建造動物” 這是Andrej 提出的一個極具洞察力的比喻。他認為我們目前的訓練方式只是在「喚醒幽靈」。大模型學到了人類所有的知識及模式,它像一個無所不知的幽靈,但它缺乏「實體」和「自主性」。 目前的挑戰在於,我們不僅要喚醒這個幽靈,還要為它「建造一個動物的軀體」。這意味著要透過強化學習、記憶模組、工具使用能力,讓這個幽靈能夠像動物一樣在實體或數位世界中持續生存、行動和解決問題。 2. Agent 的“十年長跑” 和外界「明年就有AGI」的狂熱不同,Andrej 認為建造真正可用的Agent 是一個極其困難的系統工程問題。他甚至給出了「可能需要十年」的預期。 他指出,雖然模型很聰明,但在長時間跨度的任務中,一旦某一步出錯,整個任務就會崩潰(誤差累積)。目前的模型缺乏人類那種「自我糾錯」和「在動態環境中持續學習」的能力。 3. 經濟影響的“平滑曲線” Andrej 傾向於認為AI 對經濟的影響將是漸進的,而非階躍式的。他認為AI 會像過去的自動化技術一樣,逐漸滲透到各產業中,慢慢提升效率,而不是一夕之間徹底顛覆所有工作。 # Ilya Sutskever 的“範式轉移”與“頓悟時刻” https://t.co/uu3JR4mEoy 核心主題:Scaling Law 的邊際效應遞減,AI 進入「探索與頓悟」的新時代。 Ilya Sutskever 的視角則完全不同,他站在科學探索的最前沿,宣告了「舊時代」的結束。作為曾經Scaling Law 最堅定的信徒,他的轉向不僅令人震驚,更指明了未來的方向。 1. Scaling Law 的終結(或質變) Ilya 明確表示,單純靠堆算力、堆疊資料來擴大模型規模的時代已經過去了。雖然擴大規模仍有幫助,但邊際效益正在急劇下降。換句話說,2010年代那種「越大越好」的暴力美學已經撞上了天花板。 2. 從“10萬小時學生”到“100小時學生” Ilya 提出了一個深刻的區別:目前的預訓練模型像是一個「讀了10萬小時書」的學生,它記住了所有知識,但缺乏真正的理解。而人類通常只需要「100小時」的學習就能掌握一個技能,因為人類具備「頓悟」和「舉一反三」的能力。 Ilya 認為,下一個階段的關鍵不在於讓模型讀更多的書(因為數據也快用完了),而在於讓模型學會“思考”,從海量數據中提煉出真正的“價值”和“邏輯”,實現從“記憶”到“推理”的躍遷。 3. 安全即能力(Safety is Capability) 身為SSI 的創辦人,Ilya 強調安全不僅僅是為AI 加護欄,它是建立超智慧的基石。一個不穩定的、不僅能理解指令還能理解「價值觀」的AI,才是通往AGI 的唯一路徑。 # 深度對比:Andrej 與Ilya 的觀點碰撞如果說Andrej 是在“修路”,那麼Ilya 是在“造火箭”。兩者的核心分歧與互補之處如下: 1. 對「瓶頸」的認知不同· Andrej (工程瓶頸): 認為瓶頸在於系統整合和可靠性。模型已經夠聰明了,現在的問題是怎麼把這個聰明的「大腦」裝進一個能幹的「身體」裡,讓它別老犯錯。透過更好的工具鏈、記憶體管理和強化學習微調來解決問題。 · Ilya (科學瓶頸): 認為瓶頸在於資料效率與底層典範。目前的訓練方法太笨了,還是在靠死記硬背。如果不改變底層的「學習範式」(從預測下一個字轉變為真正的邏輯推理和價值判斷),光靠堆算力是產生不了真正的超級智慧的。 2. 對「擴展(Scaling)」的態度· Andrej: 接受現有的Scaling 成果,並專注於如何透過後訓練階段的強化學習來榨取模型的剩餘價值。他認為我們還沒完全利用現有的模型能力。 · Ilya: 認為預先訓練的Scaling 已經到頭了。必須開啟一個新的“Scaling”,即“推理側的Scaling”,讓模型在輸出前花更多時間思考,這才是未來的成長點。 3. 對未來的期望· Andrej (漸進悲觀/務實): “大家冷靜點,這就是個工具,好用但也難伺候。” 他看到的是大量的髒活累活要幹,認為AGI 融入社會是一個漫長的磨合過程。 · Ilya (終極理想/緊迫): 「舊路已死,新王當立。」他關注的是如何突破天花板,創造出在本質上超越人類學習效率的全新智能體。他的緊迫感來自於對「質變」的追求,而非「量變」的累積。 # 整體感受我們正處於一個從「大力出奇蹟」轉型為「精細探索」的十字路口。 · 聽Andrej,你會明白為什麼你的AI Agent 總是做不好工作,以及身為開發者當下應該專注於哪些具體的工程細節(如資料品質、強化學習環境設計)。 · 聽Ilya,你會看清未來3-5 年的技術風向,明白為什麼所有巨頭都在瘋狂佈局“推理模型”,以及為什麼“數據”不再是唯一的壁壘,“思考的質量”才是。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
