¡Grandes noticias! ¡Apple MLX ahora admite la precisión NVFP4 y MXFP8! En resumen, la compatibilidad significa que no es necesario convertir la precisión. Anteriormente, es posible que se quisiera usar o ajustar un modelo con la precisión deseada, pero si la máquina actual no la admite, habría que convertirlo a la precisión compatible con el hardware o la infraestructura de la máquina. La conversión inevitablemente conlleva pérdidas, a veces sustanciales, lo que provoca que los modelos grandes generen resultados erráticos. Por lo tanto, la cuantización requiere un ajuste preciso para corregir estos errores. Sin embargo, la compatibilidad nativa elimina esta pérdida de precisión. Sin embargo, dado que el SoC de Apple no cuenta actualmente con unidades de aceleración de coma flotante dedicadas para estas dos precisiones, sigue siendo analógico, por lo que el rendimiento no será más rápido.
