Je viens de réaliser que si nous vivons dans un monde où la thèse de Karpathy sur le x.com/karpathy/statu…ps://t.co/1RtvrEGIXd) est vraie dans sa forme maximale (c'est-à-dire que le LLM sur le noyau cognitif est en fait supérieur - c'est ainsi qu'il l'a décrit dans l'interview avec Dwarkesh P.),
Dès lors, la création de valeur sur le marché de l'IA pourrait être fondamentalement différente. Autrement dit, les vastes modèles « frontières », que seules les plus grandes entreprises peuvent développer, pourraient avoir beaucoup moins de valeur. En revanche, une utilisation performante du « noyau cognitif » nécessiterait un accès
aux données de haute qualité, adaptateurs, plug-ins, etc. Si ces éléments permettaient de différencier la « bonne IA » de la « mauvaise IA », c'est là que devrait se concentrer toute l'activité économique. Et cela ouvre la voie à des entreprises spécialisées plus petites.
Et cela pourrait conduire à la croissance d'un écosystème de « finance de l'information » [décentralisé] qui inciterait les acteurs du marché à proposer des données et des composants de meilleure qualité.
Un article récent introduisant le concept de « cartoucarxiv.org/abs/2506.06266lGXeia5) pourrait nous donner une idée pour un type de produit qui fonctionnerait bien avec un « noyau cognitif ». Une cartouche est un préfixe KV entraîné sur une « auto-apprentissage » d'un corpus de documents.
Si le « noyau cognitif » ne connaît qu'un minimum de faits, beaucoup d'informations doivent être incluses dans le contexte, et il serait beaucoup plus efficace d'utiliser des cartouches avec des pensées précalculées que de parcourir des documents bruts à chaque requête.
De plus, un article précédent sur le « réglage des préfixes » a démontré que les préfixes KV peuvent également avoir le même effet que le réglage fin, de sorte que la cartouche peut également inclure des compétences, un style textuel, etc. Et contrairement aux adaptateurs LoRA, ils sont composables.