来自 Viv（@Vtrivedy10）的推文线程

一个关于如何使模型适应安全带的有趣问题 + 关于类似“安全带测试台”的想法 1. 更智能的模型在迁移到新的安全带时是更好还是更差？最近的结果表明，Opus 在 CC 安全带上的迁移幅度比 Sonnet 在 CC 安全带上要大得多。 2. 在实际应用中，新安全带的适应性与微调之间存在什么差距？ HarnessBench： Terminal Bench 的结果报告方式在某种程度上体现了这种理念，但基本上我们需要更多针对线束的评估，而不仅仅是模型。 - 我们没有很好的指标来衡量模型在不同框架下的泛化能力 HarnessBench 本质上是对各种任务的评估，我们用它来衡量一个框架在多种固定模型上的平均性能。当然，我们也会从中获得每个模型和框架的基准测试分数。 我认为这是一个很有价值也很有趣的问题，值得探讨。它能帮助我们了解安全带的哪些特性对某些模特有用而对另一些模特没用，以及安全带通常应该具备哪些“好”特性。 我们需要爬山式安全带，还要提高可解释性。而且，强化学习的微调很可能就是一切。