来自 宝玉（@dotey）的推文线程

以下內容來自唐傑微博： weibo.com/2126427211/QjI… 最近的一些感悟，分享一下，希望對大家有用。 -預訓練使得大模型已經掌握世界常識知識，並且具備簡單推理能力。更多資料、更大參數和更飽和的計算仍然是scaling基座模型最有效率的辦法。 -激活對齊和增強推理能力，尤其是激活更全面的長尾能力是保證模型效果的另一個關鍵，通用benchmark的出現一方面評測了模型通用效果，但也可能使得很多模型過擬合。真實場景下是如何讓模型更快、更好的對齊長尾的真實場景，增強實際體感。 mid和post training使得更多場景的快速對齊和強推理能力成為可能。 -agent是模型能力擴展的里程碑，也是體現ai模型進入人類真實（虛擬/物理）世界的關鍵。沒有agent能力，大模型將停留在（理論學習）階段，就類似一個人不斷學習，即使學習到博士，也只是知識積累，還沒有轉化為生產力。原來的agent是透過模型應用來實現，現在模型已經可以直接將agent資料整合到訓練過程，增強了模型的通用性，其實難題還是不同agent環境的泛化和遷移並不是那麼容易，因此最簡單辦法也只有不斷增加不同agent環境的資料和針對不同環境的強化學習。 -實現模型記憶成為必須做的事情，這也是一個模型應用到真實環境必須有的能力。人類記憶分為短期（前額葉）、中期（海馬體）、長期（分佈式大腦皮質）、人類歷史（wiki或史書）四個階段。大模型如何實現不同階段的記憶是個關鍵，context、rag、模型參數可能分別對應了人類的不同記憶階段，但如何實現是個關鍵，一種辦法是壓縮記憶，簡單存在context，如果大模型可以支援足夠長的context，那麼基本上有可能實現短中長期的記憶。但如何迭代模型知識，更改模型參數這還是個難題。 -線上學習與自我評估。有了記憶機理，線上學習成為一個重點，目前的大模型定時重新訓練，這有幾個問題：模型無法真正的自我迭代，但模型的自學習自迭代一定會是下一個階段必然具有的能力；重新訓練還比較浪費，同時也會丟掉很多交互數據。因此如何實現線上學習是個關鍵，自我評估是在線學習的一個關鍵點，要想模型自我學習，模型首先要知道自己對還是不對，如果知道了（即使概率知道）模型就知道了優化目標，能夠自我改進。因此建構模型自我評估機制是個難題。這也可能是下一個scaling範式。 continual learning/real time learning/online learning？ -最後，大模型的發展越來越端到端，不可避免的要把模型研發和模型應用結合起來。 ai模型應用的第一性不應該是創造新的app，他的本質是agi取代人類工作，因此研發替代不同工種的ai是應用的關鍵。 chat部分取代了搜索，部分其實融合了情感互動。明年將是ai替代不同工種的爆發年。 -寫在最後的是多模態和具身。多模態肯定是個未來也很有前景，當下的問題是多模態不大能幫助到agi的智能上界，而通用agi的智能上界到底在哪兒還不知道。可能最有效的方式還是分開發展，文本、多模態、多模態生成。當然適度的探索這三者的結合肯定能發現一些很不一樣的能力，這需要勇氣和雄厚的資本支持。 同理，如果看懂了agent就知道具身的痛在哪裡了，太難通用了（也不一定），但至少少樣本去激活通用具身能力基本上不可能。那怎麼辦呢，採數據，或合成數據，都不是那麼容易，也貴。但反之一旦資料規模上去了，通用能力出來了自然會形成門檻。當然這只是智能方面的難題，對於具身，機器人本身也是個問題，不穩定，故障頻繁都限制了具身智能的發展。 2026年這些都將有長足進步。 -也討論一下領域大模型和大模型應用。我一直認為領域大模型就是個偽命題，都agi了哪有什麼domain-specific agi……但，agi還沒實現，領域模型會長時間存在（多長，不好說，ai發展實在太快了）。領域模型的存在本質上是應用企業不願意在ai企業面前認輸，希望建構領域know how的護城河，不希望ai入侵，希望把ai馴化為工具。而ai的本質是海嘯，走到哪裡都將一切捲了進去，一定有一些領域公司走出護城河，自然就捲進了agi的世界。簡而言之，領域的資料、流程、agent資料慢慢的都會進入主模型。 而大模型的應用也要回到第一原理，ai不需要創造新的應用。 ai的本質是模擬人或代替人或幫助人實現人類的某些必須要做到事（某些工種）。可能是兩種，一種是ai化以前的軟體，原來需要人參與的改成ai，另一種就是創造對齊人類某個工種的ai軟體，取代人類工作。所以大模型應用需要幫助人、創造新的價值。如果做一個ai軟體沒人用，不能產生價值，那這個ai軟體一定沒有生命力。