メモリを無駄にすることなく、共有 GPU 上で複数の LLM をトレーニングして提供します。 このライブラリは、OS スタイルの仮想メモリを使用して、事前の予約ではなくオンデマンドで KV キャッシュを割り当てます。 SGLang および vLLM で動作します。100% オープンソースです。
同様の AI ツールやプロジェクトについては、https://t.cotheunwindai.comープンソース コードを使用した 100 以上の AI エージェント、RAG、LLM、MCP チュートリアルにすべて無料でアクセスできます。