KarpathyがImageNetを手動で学習していた頃を覚えている人はいますか?モデルへの入力を手動で検査することは、今でも大きなアルファを持っています。LLMS/エージェントが普及した今日では、なおさらです。これは直感を養い、エージェントエンジニアリングを向上させるのに役立ちます。今日のエージェント入力は、システムプロンプト、ツール定義、ツールの入出力、思考、ユーザーメッセージ、エージェント出力が寄せ集められた巨大な塊です。 @HamelHusain、「データを見ろ」って感じですね。もし実際に全部読んだら、一体何が起こっているのか全く理解できないでしょう? でも、入力データを適切に準備するシステム(コンテキストエンジニアリング)があれば、モデルがあなたを助けるようにできます。故障モードに関する最良の直感は、多くの場合、トレースを直接読むことから得られるんです。 そして今日では、エージェントは実行中に生成される膨大なデータの山を精査するのに役立ちます。ただし、人間は自分が熟知している分野では優れた評価者であり、エージェントは膨大なデータの中で優れたパターンマッチングを行うという点に注意してください。つまり、この組み合わせは素晴らしいのです。 エージェントがどれだけ手作業で仕事をしているか、そしてそれがどれだけ役に立っているかを聞きたい。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。