Andrej Karpathy（@karpathy）のスレッド

私は「思考の糧」という表現が大好きです。これは、人間が経験する具体的かつ神秘的な認知能力ですが、LLM にはそれに相当するものがありません。 定義：「考えたり検討したりする価値のあるもの。アイデアや洞察、あるいはより深い考察を必要とする問題で心を養う、精神的な食事のようなもの。これは、あなたの視点に疑問を投げかけたり、新たな理解をもたらしたり、重要な疑問について深く考えさせたりするトピックに用いられ、知的な刺激を与えます。」 LLM用語で言えば、これは思考の連鎖を促すためのトークンのシーケンスであり、サンプルは、まだ発見されていない何らかの内発的報酬関数によって、注意深く観察することで報酬が得られる。それがどのような形をとるのか、とても興味がある。考える材料になる。