A versão mais recente do Kimi-K2-Thinking usa precisão INT4. Então, quais são os formatos de precisão para modelogithub.com/karminski/one-…a olhada neles, desde FP128 (geralmente não usado para treinar modelos grandes) até 1 bit, e ver quais são as estruturas dessas precisões. As compilações anteriores podem ser encontradas aqui: https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - bin de 1 bit
ternário de 1 bit
