neuripsで@_vaishnavhと次のトークン予測+教師強制の失敗について話しました。彼は、私の意見では「推論」のすべての問題を包含する素晴らしい最小限の総合的な問題を提示しています。 1/5
シーケンスは、まず中心のノードとそこから伸びる複数の「パス」を持つ「スター グラフ」を構築することによって生成されます。 したがって、中央のノードには枝と同じ数の隣接ノードがあり、枝の末端には 1 つの隣接ノードがあり、その他のすべてのノードには 2 つの隣接ノードがあります。 2/5
次に、「質問」は、ノード ID のペアとしてエッジのリスト、中央ノードの ID、ターゲット ノードの ID で構成されるプロンプトになります。 「答え」は、中心からターゲットまでのパスに沿ったノード ID のリストになります。 3/5
さて、これを使ってGPTを学習させると、解の経路上にあるすべてのノード（中心ノードを除く）は予測が容易になります。近傍ノードは最大で2つしかないので、経路上に既に存在するノードと、近傍ノードがどれかを確認するだけで完了です。勾配降下法は最高です。ロジット法は素晴らしいですね。 4/5
中心ノードが残ります。これについては、基本的に、どこに行くべきかを知るために *すべてのブランチ* を探索する必要があり、これらすべてが構築されるまで、グラデーションは何も認識しません。 それはまさに論理的です。複雑な選択肢を検討してみなければ、どれがよいのかを知ることはできません。 5/5