메모리 낭비 없이 공유 GPU에서 여러 LLM을 훈련하고 제공합니다. 이 라이브러리는 사전 예약 대신 필요에 따라 KV 캐시를 할당하기 위해 OS 스타일 가상 메모리를 사용합니다. SGLang 및 vLLM과 호환됩니다. 100% 오픈 소스입니다.
https://t.co/BvTc8nQQW5에서 이와 유사한 AItheunwindai.com픈 소스 코드를 포함한 100개 이상의 AI Agent, RAG, LLM, MCP 튜토리얼에 무료로 액세스하세요.
