我经常看到一些很棒的方法，其中 LLM 代理可以“浓缩”或概括各个步骤中的上下文。 我们在 2020 年秋季开展了这项工作，并创造了现在使用的同一个术语“压缩”检索。 它展示了用于推理链的自训练语言模型的一个非常早期的例子。
这先于自回归思维链，因此这里的推理是一长串搜索查询和从 500 万篇文档语料库中提取的片段。 即使在今天，通过提示或现实生活学习，现代LLM仍然很难达到HoVer上的分数！
开发Baleen的过程极其痛苦。我记得光是最终配方就需要按顺序训练大约12个模型。 这就是开发 DSPy 的动机，这样你就可以构建这些模块化的 LLM 系统/代理，并允许它们进行自我训练，而无需执行所有这些操作。