來自 GDP（@bookwormengr）的推文串

在前沿人工智慧實驗室中，如何利用不完全資訊做出決策 請關注 @zpysky1125 - Minimax AI 的首席研究員 - M2 的創建者，據我所知，M2 是目前領先的開源軟體模型，也是第一個開源軟體交錯思維模型。 以下這篇由 @zpysky1125 撰寫的部落格非常精彩💕，如果您對培養最先進（SOTA）LLM 的人們的想法感興趣，請繼續閱讀。 它探討了他們面臨的選擇類型，以及他們如何在資訊不完全的情況下做出決策。問題在於，使用LLM訓練無法進行過多的實驗，因為每次運行的成本都非常高。這與傳統的機器學習不同。 彭宇非常坦誠地討論了他們為什麼不得不放棄，或者說擱置，他們之前在 MiniMax M1 型號中使用的“線性注意力”創新技術，而重新在 M2 型號中採用“完全注意力”技術。 他們放棄了自己發明的科技樹，只好忍痛割愛。他們坦誠地討論此事，語氣真摯感人。 彭宇討論了短期內行之有效方法的優點——即使它的效率可能較低。他們也討論了在哪些情況下會重新考慮使用線性注意力機制。你會學到很多東西！ 這是了解前沿實驗室決策者思維的難得機會。我們希望美國實驗室能更多地分享這種資訊。 明智地選擇你的戰場。 感謝@Hailuo_AI 和鵬宇 (@zpysky1125) @dwarkesh_sp，@himanshustwts 請邀請中國研究人員（來自中國實驗室）參加你們的播客節目🇨🇳🇺🇸💕。