좋은 소식입니다! Apple MLX가 이제 NVFP4와 MXFP8 정밀도를 지원합니다! 간단히 말해서, 지원은 정밀도를 변환할 필요가 없다는 것을 의미합니다. 이전에는 목표 정밀도로 모델을 사용하거나 미세 조정하고 싶었지만, 현재 머신이 해당 정밀도를 지원하지 않는 경우, 현재 머신의 하드웨어/프레임워크에서 지원하는 정밀도로 변환해야 했습니다. 변환 과정에서 필연적으로 손실이 발생하며, 때로는 상당한 손실이 발생하여 대형 모델이 불규칙한 출력을 생성하게 됩니다. 따라서 양자화는 이러한 오류를 수정하기 위한 미세 조정을 필요로 합니다. 그러나 네이티브 지원은 이러한 정확도 손실을 방지합니다. 하지만 Apple SoC에는 현재 이 두 가지 정밀도에 대한 전용 부동 소수점 가속 장치가 없으므로 여전히 아날로그이고, 따라서 성능은 더 빨라지지 않습니다.
