Blague à part, prenons cela très au sérieux. Personne n'a jamais travaillé sur des architectures ultra-minuscules, et à partir de là, on peut concevoir des modules d'énergie extrêmes et bien d'autres formes exotiques aux propriétés incertaines. Voici un arbre technologique possible pour un noyau cognitif.
Je ne sais pas trop comment cela pourrait s'intégrer, mais cela pourrait aussi servir de proposition pour un entraînement sans tokeniseur. Une représentation vectorielle de dimensions ajustables serait bien préférable à un token fixe.