最新的Kimi-K2-Thinking 使用了INT4 精度, 那麼大模型的精度格式都有哪些?來為大家做一個喜聞樂見的盤點,從FP128(通常不用於大模型訓練),到1bit ,來看看這些精度都是什麼結構? 往期合集網址:https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - 1bit bin
1bit ternary
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
共 6 条推文 · 2025年11月10日 10:19
最新的Kimi-K2-Thinking 使用了INT4 精度, 那麼大模型的精度格式都有哪些?來為大家做一個喜聞樂見的盤點,從FP128(通常不用於大模型訓練),到1bit ,來看看這些精度都是什麼結構? 往期合集網址:https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - 1bit bin
1bit ternary