來自 Alexander Doria（@Dorialexander）的推文串

目前只是泛泛而談，但我們的主要研究成果似乎在生產中得到了回報：專門針對合成環境的小型推理器不僅在輸出上可以與頂級模型競爭，而且更令人驚訝的是，其推理草稿質量也相當出色。

我想這也是為什麼超稀疏的 MoE 效果如此好的原因。推理本身就是一個搜尋空間。