R: "Nvidia es conocida por hacer cosas numéricas raras. ¿Recuerdas aquella vez que el resultado parecía fp32, pero acumularon en secreto 22 bits? Mucha gente se enojó con eso". B: "Oh, ¿te refieres al dtype tf32, que en realidad es secretamente fp23?" C: "No, me refiero a la acumulación de float8 en los wgmma de Hopper, que se hicieron en secreto en fp22. El caso de tf32 es totalmente diferente". Una conversación que tuve hoy
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.