低精度浮動小数点数の驚くべき特性が再びニュースになっています。 これらの数値形式は大規模な NN では広く使用されていますが、ほとんどのプログラマにとっては新しいものです。 そこで私は先週、@klyap_ と協力して、この小さなビジュアライザーを作成しました: https://t.co/ntHlazyDmK。
https://t.coquant.exposednComputePrj の Microscaling Formats (MX) 仕様 (fp8 と fp6 の両方のバリエーション、スケーリング専用の e8m0 形式、および非常に小さな fp4) の量子化された浮動小数点数の値とビット パターンをクロスチェックできます。
このページは、2 バイト以上の浮動小数点形式をカバーしている @BCiechanowski の htfloat.exposed大きく影響を受けています。 Bartosz は、このツールに関する素晴らしい補足記事をこちらに書いています https://t.co/OdKCVxU8Ad。
このプロジェクトは、私が最初に出会った @b0rk のinteger.exposedH にもインスピレーションを与えました。
整数および浮動小数点の公開ツールは、ビット文字列 (手書きのアセンブラ、IP アドレス) を操作するときに非常に便利です。 https://t.co/4PJvda0eDy が量子化された浮動小数点数を扱っている人たちにも同様に役立つことを願っています。