중국의 Moonshot AI가 역사상 최초의 선형 주의 모델을 발표했습니다. 단 3B개의 활성 매개변수로 1M 토큰 컨텍스트에서 6배 더 빠른 디코딩과 75% 더 적은 메모리 사용량으로 풀 어텐션 모델보다 우수한 성능을 보입니다. 100% 오픈소스.
https://t.co/BvTc8nQQW5에서 이와 유사한 AItheunwindai.com픈 소스 코드를 포함한 100개 이상의 AI Agent, RAG, LLM, MCP 튜토리얼에 무료로 액세스하세요.