来自 Alexander Doria（@Dorialexander）的推文线程

Nvidia 发布了全新的开放式模型，并在模型设计方面进行了实际实验（进一步印证了我的观点，即处理合成推理会在这方面带来新的动力）。

有趣的是，Pleias 的第一个 LLM 计算计划非常接近：一个 300-500 亿的混合 Mamba，由在合成器上训练的专家组成（从 2024 年 1 月开始，可惜从未获得资金）。