我很喜歡關於訓練中期(耶!*合成管道*)和長上下文的部分,但我感覺這可以作為轉移重點的理由:減少 6T 基礎預訓練,增加 100-200 億推理/擴展上下文能力。值得深入研究附錄:雖然這裡側重於程式碼,但我們同意需要轉向更通用的「能力」評估。 「你能做到X嗎?」這個問題遠比Django腳手架有趣得多。