我認為人們仍然缺乏對以下事實的直覺：智能的空間非常廣闊，而動物智能（我們所知的唯一智能）只是一個點，它源於一種非常特殊的優化，這種優化與我們的技術有著根本的不同。 動物智力優化壓力： - 具身「自我」的內在和連續的意識流，在危險的物質世界中尋求體內平衡和自我保護的驅動力。 ——完全針對自然選擇進行了最佳化 => 強烈的內在驅動力，追求權力、地位、支配和繁衍。許多預製的生存法則：恐懼、憤怒、厭惡… - 根本上是社會性的 => 大量的計算資源用於情緒智商、其他智能體的心理理論、情感連結、聯盟、盟友和敵人動態。 - 探索與利用調整：好奇心、樂趣、玩耍、世界模型。 LLM智慧優化壓力： 大部分監督資訊來自人類文本的統計模擬，即「變形器」標記翻轉器，它是訓練資料分佈中任何區域的統計模仿器。這些是原始行為（標記痕跡），其他一切都建立在其之上。 - 透過強化學習對問題分佈進行越來越精細的調整 => 天生渴望猜測底層環境/任務以獲取任務獎勵。 - 透過大規模 A/B 測試選擇 DAU => 非常渴望得到普通用戶的點贊，這是阿諛奉承的表現。 根據訓練資料/任務分佈的具體情況，演算法的反應會更加尖銳/鋸齒狀。動物面臨更大的「通用」智能壓力，因為它們身處高度多任務、甚至充滿對抗性的多智能體自博弈環境中，需要進行最小-最大優化，任何一項任務的失敗都意味著死亡。從深度優化壓力的角度來看，LLM 無法直接處理大量不同的尖銳任務（例如，計算草莓中字母「r」的數量），因為任務失敗並不意味著死亡。 計算基礎不同（變壓器與腦組織和細胞核不同），學習演算法不同（隨機梯度下降與未知演算法不同），當今的實現方式也截然不同（持續學習的具身自我與知識截止的LLM，後者從固定權重啟動，處理令牌後便停止運行）。但最重要的是（因為它決定了漸近行為），優化壓力/目標也不同。 LLM的形成較受商業發展的影響，而非生物演化。它不再是叢林生存的生存法則，而是解決問題/獲得點讚的手段。 LLM是人類與非動物智慧的「首次接觸」。然而，由於它們仍然根植於人類的認知框架，並反射性地吸收人類的產物，因此這種接觸顯得混亂且令人困惑。這也是我之前試圖給它一個不同名字（鬼魂/靈魂或其他什麼）的原因。那些能夠建構出這種新型智慧實體良好內部模型的人，將更有能力在今天對其進行推理，並預測其未來的特徵。那些不了解的人會像動物一樣，一直錯誤地思考這個問題。
正在載入線程內容
正在從 X 取得原始推文，整理成清爽的閱讀畫面。
通常只需幾秒鐘，請稍候。