Ainda precisamos descobrir essa lei de escala, mas minha impressão atual é a seguinte: a memorização é uma relação direta entre a densidade de fatos nas amostras sobreamostragem sintética número de parâmetros eficiência de aprendizado da arquitetura do modelo.
Boas ferramentas de síntese não resolvem apenas o problema 2), mas também o 4, pois permitem executar experimentos controlados e verificar diretamente a precisão da recuperação, em vez de perder tempo com proxies bizarros (por favor, deixem o hellaswag morrer).