Este é um lançamento *extraordinário*. O Zyphra é um dos laboratórios mais sofisticados e muito subestimados, o que espero que mude agora que eles conseguiram um emprego ensinando a AMD a fazer aprendizado de máquina. O CCGQA é basicamente MLA+, eles superaram o Qwen3-4B com 0,76 bilhão de participantes ativos, o artigo é incrivelmente denso. Leiam.
Bem, "superar" é uma palavra forte. Definitivamente, é mais eficiente e o modelo base está em pé de igualdade, mas precisará de bastante trabalho para igualar o pós-treinamento avançado do Qwen, o que eles deixam para depois. Mas já existe bastante conhecimento sobre pós-treinamento.
