Excelente lançamento do novo modelo "tudo aberto" da Nvidia, com experimentações reais no lado do design do modelo (e, além disso, acredito que lidar com o raciocínio sintético cria novos incentivos nessa área).
Curiosamente, o primeiro plano de computação LLM da Pleias estava bem próximo disso: uma mistura híbrida de mamba na faixa de 30 a 50 bilhões de dólares, composta por especialistas treinados em sintetizadores (previsto para janeiro de 2024, infelizmente nunca financiado).
