Smol est magnifique ! Je viens de le tester sur mon Mac M1 et je suis impressionné. C'est du 3B 4 bits quantifié ! Vous trouverez un lien vers le portage rapide MLX ci-dessous, si vous souhaitez l'essayer sur Mac. Cela pourrait intéresser @Dorialexander.
Voici le portage MLX. Vous devrez effectuer votre propre conversion de modèle en suivant les instructions (je mettrai bientôt en ligne un modgithub.com/aiamblichus/ch…https://t.co/gCWnvuNEjs