¡Smol es precioso! Acabo de probarlo en mi Mac M1 y estoy impresionado. ¡Chicos, esto es cuantización de 3 bits y 4 bits! Si queréis probarlo en un Mac, más abajo tenéis un enlace a la rápida adaptación a MLX. Quizá le interese a @Dorialexander.
Aquí está el puerto MLX. Deberás realizar tu propia conversión de modelo siguiendo las instrucciones (pronto subiré un modelo convertido a HFgithub.com/aiamblichus/ch…NEjs