Ótima notícia! O Apple MLX agora suporta as precisões NVFP4 e MXFP8! Simplificando, suporte significa que você não precisa converter a precisão. Anteriormente, você poderia querer usar ou ajustar um modelo com a precisão desejada, mas se a máquina atual não a suportasse, você teria que convertê-la para a precisão suportada pelo hardware/framework da máquina atual. A conversão inevitavelmente acarreta perdas, às vezes substanciais, fazendo com que modelos grandes produzam resultados erráticos. Portanto, a quantização exige ajustes finos para corrigir esses erros. O suporte nativo, no entanto, elimina essa perda de precisão. No entanto, como o SoC da Apple atualmente não possui unidades de aceleração de ponto flutuante dedicadas para essas duas precisões, ele ainda é analógico, portanto o desempenho não será mais rápido.
