TFW te das cuenta de que los NaN provienen de esa parte del código donde conviertes las cosas en fp32 para que no sucedieran cosas malas, pero las cosas se ponen realmente mal cuando conviertes de nuevo a fp16.
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.