4/4 Cursor 的 Composer 模型训练的物理基础设施。 他们声称已经在数千个GPU上进行了训练（并且仍在继续训练）。他们以低精度训练模型，并使用异步强化学习（下一条推文将解释它是什么）。 引述：“我们利用 PyTorch 和 Ray 构建了定制的训练基础设施，以大规模支持异步强化学习。 我们通过将 MXFP8 MoE 内核与专家并行和混合分片数据并行相结合，以低精度对模型进行原生训练，从而使我们能够以最小的通信成本将训练扩展到数千个 NVIDIA GPU。 此外，使用 MXFP8 进行训练可以让我们实现更快的推理速度，而无需进行训练后量化。
5/5 Customer Composer 模型训练中使用的异步强化学习是什么？ 它采用多级异步执行，以避免等待缓慢的操作，例如长时间的发布生成。 如您所知，对于给定的问题，在强化学习（例如GRPO）中，我们会生成多条轨迹。然而，有些轨迹可能需要太长时间才能完成。 所以，一旦他们收集到足够的轨迹数据，他们就会进行训练。 部分样本/推广工作稍后会使用更新后的模型恢复。这会导致部分令牌由旧模型/策略生成，而部分令牌由新模型/策略生成。 不过，这可以接受。如果您想了解更多关于异步强化学习的内容，请阅读 APRIL——一个用于异步强化学习的项目。
