Kimi-Linear es un experimento con 3 mil millones de tokens activos y menos de 6 mil tokens. Su arquitectura no es ciencia ficción (excepto que funciona): NoPE MLA + una elegante GatedDeltaNet. Esto me sugiere fuertemente que a) la atención de contexto largo de Géminis no tiene ningún secreto, b) todo se reduce a TPUs. Nada de "Titanes".
