Qu’est-ce qui définit véritablement un modèle bon marché et abondant ? (Approche tactique) Bonne nouvelle pour le déploiement local de grands modèles ! Nous vous proposons une analyse technique du Kimi-Linear-48B-A3B, récemment sorti de Dark Side of the Moon ! Voici une version en une phrase : Voilà le véritable modèle de restauration rapide bon marché et abondante. Le modèle 48B-A3B atteint 1 Mo de contexte tout en conservant une attention linéaire, ce qui se traduit par une très faible consommation de mémoire. Contrairement aux modèles d'attention traditionnels dont la consommation de mémoire augmente de façon exponentielle avec la longueur du contexte, ce modèle présente une consommation linéaire, le rendant parfaitement adapté à une utilisation sur le processeur. Je suis déjà en train de le télécharger et je compte l'ajouter à mes modèles locaux fréquemment utilisés. La principale incertitude concerne actuellement le taux de rappel. Je compte télécharger l'application, y intégrer quelques romans, interroger le modèle sur les détails et observer sa réponse afin d'évaluer l'effet de rappel. Si vous souhaitez consulter les résultats, merci de liker cette publication. Si elle atteint plus de 100 likes, je publierai l'analyse ce week-end.
Paramètres de base
Données comparatives
Erreur typographique : La croissance traditionnelle de l'attention et de la mémoire est quadratique.