最先端のAIラボで不完全な情報に基づいて意思決定を行う @zpysky1125 をフォローしてください。彼は Minimax AI の主任研究員であり、私が知る限り、現在主流の OSS モデルであり、最初の OSS インターリーブ思考モデルである M2 の作成者です。 @zpysky1125 による以下のブログは素晴らしいブログです💕最先端の (SOTA) LLM をトレーニングする人々の頭の中で何が起こっているのかに興味があるなら。 どのような選択肢が提示され、不完全な情報の下でどのように意思決定を行うかについて議論します。LLM学習では、1回の実行に非常にコストがかかるため、あまり多くの実験を実行できないという問題があります。これは従来の機械学習とは異なります。 Pengyu 氏は、MiniMax M1 モデルで使用した以前のイノベーションである「線形アテンション」を破棄、またはむしろ後回しにして、M2 では「フル アテンション」に戻らなければならなかった理由について、非常に正直に説明しています。 彼らは、自らが発明し、そして苦渋の思いで廃棄せざるを得なかった技術ツリーを放棄しました。彼らはそのことについて、非常に誠実に議論しています。それは心からのものです。 Pengyu氏は、たとえ効率性が低いとしても、実証済みのパスが短期的にどのような利点を持つかについて論じています。また、どのような状況で線形注意に関する決定を再検討する必要があるかについても論じています。学ぶことがたくさんあります！ これは、最先端の研究室の意思決定者の思考を垣間見ることができる貴重な機会です。アメリカの研究室から、このような情報共有がもっと増えることを期待します。 戦いは賢く選びましょう。 @Hailuo_AI と Pengyu (@zpysky1125 ) に感謝します。 @dwarkesh_sp、@himanshustwts、あなたのポッドキャストに中国の研究者（中国の研究室から）を呼んでください🇨🇳🇺🇸💕。
