この問題は、学習曲線の形状を理解するというより広い文脈に当てはまります。このような形状の最も基本的な特性は、おそらく…減少傾向にあるということです！具体的には統計的な観点から、データを追加した場合、テスト損失が減少することを証明できますか？ 驚くべきことに、これは全く自明ではなく、多くの反例があります。この点については、古典的な書籍[Devroye, Gyorfi, Lugosi, 1996]で詳しく議論されています（20年前に貪るように読んだのを覚えていますが、それはまた別の話です！）。最近では、2019年のCOLT Open Problemにおいて、この問題の非常に基本的なバージョンが未解決であることが指摘されました。例えば、「未知のガウス分布の(共)分散を推定する場合、リスクは単調か（つまり、データを追加することで共分散をより正確に推定できるのか）？」といった問題です。 @MarkSellkeさんがこの質問をGPT-5.2に投げかけたところ…なんと解決しました！その後、Markさんはモデルと何度もやり取りして結果を一般化し続けました（Markさんからの数学的インプットは特になく、良い質問をするだけです）。そして、この作業はどんどん進みました…最終的に、順方向KLのガウス分布とガンマ分布、そして逆方向KLのより一般的な指数分布族の結果を含む、素晴らしい論文になりました。詳細はこちらをご覧ください：https://t.co/XLETMtURcd
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。