Kimi-Linear é um experimento com 3 bilhões de usuários ativos e menos de 6 trilhões de tokens. Sua arquitetura não tem nada de ficção científica (exceto pelo fato de funcionar) – NoPE MLA + GatedDeltaNet sofisticado. Isso me leva a crer fortemente que a) a atenção de longo contexto do Gemini não tem nenhum segredo e b) tudo se resume às Unidades de Processamento de Dados (TPDs). Sem "Titãs".
