Smol、美しいですね！M1 Macで試してみたのですが、感動しました。なんと、これは3B 4bit量子化なんです！Macで試してみたい方は、下にMLXクイックポートへのリンクがあります。@Dorialexanderさんも興味があるかもしれませんね。
MLXへの移植版はこちらです。手順に沿ってご自身でモデル変換を行ってください（HFへの変換済みモデルは近日中にアップロードします）。 https://t.co/gCWnvuNEjs
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。