来自 Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）的推文线程

Seed 执行一个潜在的循环 Transformer。 这是一个相当成熟的方法，对于简单的标记，模型可以在两次循环后终止。这种方法虽然不能节省计算资源，但能让你用有限的数据预算获得更好的结果。我希望我们能看到一个相当可观的扩展性指标（MoE），来展示这种方法的可扩展性。