Transformer++ es un artículo real, pero el término se usa comúnmente para la receta de LLaMA2, si no recuerdo mal, primero en el artículo de Mamba. En mi opinión, ya tenemos varios Transformers+++. El estándar de la industria posterior a DSMoE califica para otro +, y su versión más madura es Zaya. Mi tabla de opiniones sobre los principales contendientes:
