Greg Brockman（@gdb）のスレッド

推論は、おそらく最も価値のある新興ソフトウェア カテゴリです。 モデルがよりスマートになり、経済的に価値が上がるにつれて、モデルからサンプルを抽出するためにコンピューティングがますます費やされるようになります。 openai で推論に取り組みたい場合は、gdb@openai.com までご連絡ください。これまで参加した優れたチームの説明と、そのチームの目標に対する貢献を記載してください。また、推論、大規模システムの最適化、またはドメイン専門知識を蓄積したその他の分野での経験があればそれも示してください。 モデルのフォワードパスを深く理解すること（最適化のための創造的な機会のシミュレーション/発見を含む）から、投機的デコードや kv オフロード、ワークロードを考慮した負荷分散などのシステムレベルの効率性、大規模な艦隊の管理と観測可能にすることまで、取り組むべき刺激的な問題がたくさんあります。