Transformer++ est un véritable article scientifique, mais le terme est couramment utilisé pour désigner la recette LLaMA2, si je me souviens bien, pour la première fois dans l'article Mamba. À mon avis, nous avons maintenant plusieurs Transformers+++. La norme industrielle post-DSMoE mérite un autre + et sa version la plus aboutie est Zaya. Mon classement subjectif des principaux prétendants :
