Quando solicitados a mudar de bf16 para fp16 e realizar o escalonamento da função de perda, os pesquisadores responderam que isso é muito melhor para aprendizado por reforço.
Estou só brincando, pessoal, vocês sabem que eu amo vocês.
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.