來自 meng shao（@shao__meng）的推文串

[開源推薦] TEN Framework: 工業級開源即時多模態AI Agent 建構框架 如果說LangChain 是為了解決LLM 文字邏輯的編排，那麼@TenFramework 就是為了解決「即時音/視訊串流+ AI」的複雜編排。它填補了從「簡單的Chatbot」到「像人一樣聽得見、看得著、說得出的即時助理」之間的巨大技術鴻溝。 TEN 解決了什麼問題在TEN 出現之前，要開發一個具備「聽（ASR）、想（LLM）、說（TTS）」甚至「看（Vision）」的即時語音助手，開發者需要面臨極其痛苦的碎片化整合工作： · 「膠水程式碼」地獄：你需要自己寫程式碼去黏合Deepgram（聽）、OpenAI（想）和ElevenLabs（說），處理WebSocket 斷連、音訊格式轉換和緩衝。 · 延遲失控：各個環節的延遲疊加，很容易讓對話變得“卡頓”，無法做到打斷（Interruptible）和即時回應。 · 多語言混合難題：底層音視訊處理往往需要C++ 的高效能，而AI 邏輯又依賴Python 生態，跨語言除錯非常困難。 TEN Framework 的解決方案： 它提供了一套標準化的“總線”，讓你可以像搭樂高一樣，把不同的AI 模型和能力模組擴展插上去，框架自動處理底層的數據流轉和並發。 技術架構深度解析 TEN 的設計哲學是模組化和圖驅動。 1. TEN Graph（可視化編排）： · TEN 的殺手級功能。它提供了一個視覺化編輯器(TEN Designer)，你可以透過拖曳的方式定義資料流向。 · 例如：麥克風音訊-> 降噪模組-> ASR模組-> LLM模組-> TTS模組-> 揚聲器。你可以在介面上直接把“OpenAI”換成“Gemini”，或插入一個“即時翻譯”節點，無需重寫底層程式碼。 2. 多語言混合運行時(Polyglot Runtime)： · 它允許不同語言寫的擴展在同一個應用中協同工作。 · C++：用於處理高效能的音視頻編解碼、RTC 傳輸（如Agora SD-RTN）。 · Python：用於處理LLM 邏輯、工具呼叫等AI 業務。 · Go：用於高並發的網路服務。 3. 端雲協同(Edge-Cloud Integration)： · 它支援將部分輕量級模型（如喚醒詞偵測、VAD）運行在邊緣設備（甚至ESP32 這種單晶片）上，而將複雜推理放在雲端，實現成本和延遲的最優解。 開源專案