Exo를 통해 새로운 RDMA 기술을 사용하여 4개의 Mac 스튜디오가 연결되었습니다. 소비자용 하드웨어(여전히 비싸긴 하지만), 상당한 LLM, 1.5TB의 VRAM. DeepSeek 3.1(671B 모델)에서 30+ tok/s의 성능. 바이브코드를 사용하는 데 비용이 좀 들긴 하지만, 완전히 비공개적이고 영구적이며 맞춤 설정이 가능합니다. https://t.co/aF7zJnuBuA
이는 기업들이 소프트웨어 엔지니어링 연구실에서 이미 연구하고 있을 것으로 예상되는 종류의 기술이며, 특히 규제로 인해 클라우드 소프트웨어 사용이 제한되는 산업 분야에서 타인이 호스팅하고 관리하는 AI 플랫폼에서 벗어날 방법을 모색하는 과정에서 더욱 그렇습니다. 이러한 종류의 작업은 기업들이 AI 도구를 도입하는 데 도움이 될 것이며, 소프트웨어 회사들은 자사의 소프트웨어 스택을 온프레미스에 배포하는 것뿐만 아니라 AI 클러스터의 온프레미스 배포 환경과 통합할 수 있어야 한다는 점을 고려하는 것이 중요해집니다.