來自 karminski-牙医（@karminski3）的推文串

喜大普奔：Apple MLX 支援NVFP4 與MXFP8 精準度啦！ 簡單講下支援意味著什麼——支援了就不用轉換精度了。以往要直接使用或微調目標精度的模型，但是當前機器不支持，那就只能轉換為當前機器硬體/框架支援的精度。 而轉換必然會帶來損失，而這個損失有時會特別大，導致大模型會胡亂輸出。因此量化後還會增加微調過程來糾偏。而原生支援就免去了精度損失。 不過由於Apple Soc 目前並沒有這兩種精度專用的浮點運算加速單元，因此還是模擬的，所以效能上不會變快。