我經常看到一些很棒的方法，其中 LLM 代理可以「濃縮」或概括各個步驟中的上下文。 我們在 2020 年秋季開展了這項工作，並創造了現在使用的同一個術語「壓縮」檢索。 它展示了用於推理鏈的自訓練語言模型的一個非常早期的例子。
這先於自回歸思維鏈，因此這裡的推理是一長串搜尋查詢和從 500 萬篇文檔語料庫中提取的片段。 即使在今天，透過提示或現實生活學習，現代LLM仍然很難達到HoVer上的分數！
開發Baleen的過程極為痛苦。我記得光是最終配方就需要依序訓練大約12個模型。 這就是開發 DSPy 的動機，這樣你就可以建立這些模組化的 LLM 系統/代理，並允許它們進行自我訓練，而無需執行所有這些操作。