來自 Unwind AI（@unwind_ai_）的推文串

在共享 GPU 上訓練和運行多個 LLM，實現零記憶體浪費。 該庫使用作業系統風格的虛擬記憶體按需分配 KV 緩存，而不是預先預留。 支援 SGLang 和 vLLM。 100% 開源。

更多此類人工智慧工具和專案請造訪 https://t.co/BvTc8theunwindai.comAgent、RAG、LLM 和 MCP 教學課程，並附帶開源程式碼。