来自 meng shao（@shao__meng）的推文线程

[開源推薦] K2-Vendor-Verifier: 針對Kimi K2 系列模型的可靠度透明自動化驗證工具 @Kimi_Moonshot 團隊針對Kimi K2 系列模型（尤其是其「思考」變體kimi-k2-thinking-turbo）在第三方供應商端的部署問題，提供了一個透明、實操性的解決方案。 從基準波動到透明驗證的回應 Moonshot AI 團隊首先表達了對社群測試和基準分享的感謝，但迅速切入痛點：Kimi K2 在不同提供者（如第三方API 端點）上的表現不一致。有些端點在推理密集型任務（如LiveBench 基準）中準確率下降超過20 個百分點，直接拉低了整體分數。團隊承諾重新運行驗證，並透過Vendor Verifier 專案公開更多數據，以確保結果的可比較性和可靠性。 團隊給予的最佳實踐建議： · 優先官方端點：使用kimi-k2-thinking-turbo，避免第三方變異。 · 參數最佳化：啟用串流輸出（stream=True）、溫度設為1.0、最大token 數依任務調整（推理128k、編碼256k、其他≥64k），並加入重試機制。 · 基準指南：附帶完整設定教學課程，幫助開發者標準化測試。 回饋積極：有人讚揚這種透明度是“絕佳行銷策略”，也有人建議建立即時排行榜或成本-效能散點圖。 團隊也開源了K2-Vendor-Verifier K2-Vendor-Verifier 是專為Kimi K2 設計的開源評估框架，聚焦於「工具呼叫」（tool-call）行為的精確性。這在智能體應用中至關重要，因為K2 模型常用於循環式任務（如規劃-執行-回饋），任何工具呼叫偏差都可能導致連結失效。 https://t.co/2JIped5mvC 開源專案核心功能： · 測試規模：執行4000 個請求樣本（samples.jsonl），覆蓋多樣場景，對比官方Moonshot AI API 的黃金標準。 · 關鍵指標： · tool_call_f1：工具呼叫觸發精確度的調和平均值（結合精確率和召回率），衡量模型是否正確判斷何時呼叫工具。 · schema_accuracy：JSON 負載與預期schema 的匹配率，確保輸出結構可靠。 · 輸出報告：產生詳細日誌（results.jsonl）和總結表（summary.json），並定期發佈公共leaderboard（如MoonshotAI 官方得分100%、DeepInfra 98.5% 等，更新至2025 年11 月）。