来自 Alexander Doria（@Dorialexander）的推文线程

这也符合近期在训练中期进行模型自适应的趋势，这种做法大大降低了架构创新成本（本质上类似于LM物理学中的“受控实验”）。我们或许会看到更多样的设计。