Excellente nouvelle ! Apple MLX prend désormais en charge la précision NVFP4 et MXFP8 ! En clair, la prise en charge signifie que vous n'avez plus besoin de convertir la précision. Auparavant, vous auriez peut-être voulu utiliser ou affiner un modèle avec la précision cible, mais si la machine actuelle ne la prend pas en charge, vous auriez dû le convertir à la précision supportée par le matériel/l'infrastructure de la machine. La conversion engendre inévitablement des pertes, parfois importantes, ce qui peut entraîner des résultats erratiques pour les modèles complexes. La quantification nécessite donc un réglage fin pour corriger ces erreurs. La prise en charge native, en revanche, élimine cette perte de précision. Cependant, comme le SoC d'Apple ne dispose actuellement pas d'unités d'accélération en virgule flottante dédiées à ces deux précisions, il reste analogique, et les performances ne seront donc pas plus rapides.
Chargement du thread
Récupération des tweets originaux depuis X pour offrir une lecture épurée.
Cela ne prend généralement que quelques secondes.
