최신 Kimi-K2-Thinking은 INT4 정밀도를 사용합니다. 그렇다면 대형 모델의 정밀도 형식은 무엇일까요? 일반적으로 대형 모델 학습에 사용되지 않는 FP128부터 1비트까지 살펴보고, 이러한 github.com/karminski/one-… 이전 편집본은 여기에서 확인할 수 있습니다: https://t.co/gJjfpfOHm6
FP128 - TF32
FP16 - FP8
MXFP8 - MXFP4
NVFP4 - 1비트 빈
1비트 3진수
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.