A : « On sait que Nvidia a parfois des pratiques numériques bizarres. Vous vous souvenez de cette fois où le résultat ressemblait à du fp32 mais qu'en réalité, ils accumulaient les données sur 22 bits ? Ça a fait grincer des dents. » B : « Oh, vous voulez dire le type de données tf32, qui est en réalité secrètement fp23 ? » C : « Non, je parle de l'accumulation de float8 sur les wgmma de Hopper, qui étaient secrètement implémentées dans fp22. Le tf32 est un cas totalement différent. » Une conversation que j'ai eue aujourd'hui
Chargement du thread
Récupération des tweets originaux depuis X pour offrir une lecture épurée.
Cela ne prend généralement que quelques secondes.