最新的Kimi-K2-Thinking 使用了INT4 精度, 那麼大模型的精度格式都有哪些?來為大家做一個喜聞樂見的盤點,從FP128(通常不用於大模型訓練),到1bit ,來看看這些精度都是什麼結構? 往期合集網址:https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - 1bit bin
1bit ternary
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
共 6 則推文 · 2025年11月10日 上午10:19
最新的Kimi-K2-Thinking 使用了INT4 精度, 那麼大模型的精度格式都有哪些?來為大家做一個喜聞樂見的盤點,從FP128(通常不用於大模型訓練),到1bit ,來看看這些精度都是什麼結構? 往期合集網址:https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - 1bit bin
1bit ternary