新しい RDMA を使用して Exo 経由で接続された 4 つの Mac Studio。 消費者向けハードウェア (それでも高価)、かなり大きな LLM、1.5 TB の VRAM。DeepSeek 3.1 (671B モデル) で 30+ tok/s。 バイブコードは少し高価ですが、完全にプライベートで、永続的、カスタマイズ可能です。 https://t.co/aF7zJnuBuA
これは、特に規制によってほとんどのクラウド ソフトウェアの使用が禁止されている業界において、企業がソフトウェア エンジニアリング ラボですでに取り組んでいる種類のもので、他者によってホストおよび管理されている AI プラットフォームから抜け出す方法を模索していると考えられます。 これは、これらの企業への AI ツールの導入を促進する種類の作業であり、ソフトウェア企業にとっては、ソフトウェア スタックのオンプレミス展開を行う必要があるだけでなく、AI クラスターのオンプレミス展開に統合できる必要があることを考慮することが重要になります。