Transformer++ é um artigo real, mas o termo é comumente usado para a receita do LLaMA2, se não me engano, pela primeira vez no artigo do Mamba. Na minha opinião, já temos vários Transformers+++. O padrão da indústria pós-DSMoE já justifica mais um "+" e sua versão mais madura é a Zaya. Minha lista de principais candidatos, baseada em minhas opiniões:
