素晴らしいニュースです！Apple MLX が NVFP4 と MXFP8 の精度をサポートするようになりました。 簡単に言えば、サポートとは精度を変換する必要がないことを意味します。以前は、ターゲット精度でモデルを使用したり微調整したりしたいと思っても、現在のマシンがそれをサポートしていない場合は、現在のマシンのハードウェア/フレームワークでサポートされている精度に変換する必要がありました。 変換には必然的に損失が伴い、時には大きな損失が発生するため、大規模なモデルでは出力が不安定になることがあります。そのため、量子化ではこれらの誤差を修正するための微調整が必要になります。しかし、ネイティブサポートにより、こうした精度の低下は解消されます。 ただし、Apple SoC には現在、これら 2 つの精度専用の浮動小数点アクセラレーション ユニットがないため、依然としてアナログであり、パフォーマンスは高速化されません。
