Cursor 的 1/4 自主研发的编码模型编辑器处于技术前沿,速度更快,价格更低,是其他产品的 4 倍。 这有助于 Cursor 减少对 OpenAI 和 Anthropic 的依赖。既然可以构建自己的模型,为什么还要改进他们的模型呢?
2/4 他们对教育部模型(大多以中国模型为基础模型)进行了大规模强化学习。 强化学习模型自动学习了并行调用工具,并在修改代码之前进行更多读取和搜索。这种行为是自然而然形成的。
3/4 他们是如何开发 RL 环境来收集 RL 轨迹的? 他们重新利用了后台代理基础设施。 “在强化学习过程中,我们希望我们的模型能够调用 Cursor Agent 框架中的任何工具。这些工具允许编辑代码、使用语义搜索、搜索字符串以及运行终端命令。” 以我们目前的规模,要教会模型有效地调用这些工具,需要在云端运行数十万个并发的沙盒编码环境。 为了支持这一工作负载,我们调整了为后台代理构建的现有基础设施,重写了我们的虚拟机调度程序,以支持训练运行的突发性和规模。 这使得强化学习环境与生产环境能够无缝融合。
4/4 Cursor 的 Composer 模型训练的物理基础设施。 他们声称已经在数千个GPU上进行了训练(并且仍在继续训练)。他们以低精度训练模型,并使用异步强化学习(下一条推文将解释它是什么)。 引述:“我们利用 PyTorch 和 Ray 构建了定制的训练基础设施,以大规模支持异步强化学习。 我们通过将 MXFP8 MoE 内核与专家并行和混合分片数据并行相结合,以低精度对模型进行原生训练,从而使我们能够以最小的通信成本将训练扩展到数千个 NVIDIA GPU。 此外,使用 MXFP8 进行训练可以让我们实现更快的推理速度,而无需进行训练后量化。
5/5 Customer Composer 模型训练中使用的异步强化学习是什么? 它采用多级异步执行,以避免等待缓慢的操作,例如长时间的发布生成。 如您所知,对于给定的问题,在强化学习(例如GRPO)中,我们会生成多条轨迹。然而,有些轨迹可能需要太长时间才能完成。 所以,一旦他们收集到足够的轨迹数据,他们就会进行训练。 部分样本/推广工作稍后会使用更新后的模型恢复。这会导致部分令牌由旧模型/策略生成,而部分令牌由新模型/策略生成。 不过,这可以接受。如果您想了解更多关于异步强化学习的内容,请阅读 APRIL——一个用于异步强化学习的项目。


