A: "A Nvidia é conhecida por fazer algumas coisas numéricas estranhas. Lembra daquela vez em que o resultado parecia FP32, mas eles secretamente acumularam em 22 bits? Muita gente ficou brava com isso." B: "Ah, você quer dizer o tipo de dados tf32, que na verdade é secretamente fp23?" C: "Não, estou falando da acumulação de float8 nos wgmma do Hopper, que foram feitos secretamente em fp22. O tf32 é um caso totalmente diferente." Uma conversa que tive hoje
Carregando detalhes do thread
Buscando os tweets originais no X para montar uma leitura limpa.
Isso normalmente leva apenas alguns segundos.