最新のKimi-K2-ThinkingはINT4精度を使用しています。では、大規模モデルの精度フォーマットにはどのようなものがあるのでしょうか？FP128（通常は大規模モデルの学習には使用されません）から1ビットまで、それぞれgithub.com/karminski/one-…レーションはこちらをご覧ください: https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - 1ビットビン
1ビット3進数
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。