우리는 이런 런이 RNG일 것이라고 기대하는 데 익숙해 있어서, 뭔가가 작동하지 않으면 FP16으로 가는 것은 우리가 시도하는 아이디어가 아닙니다. 훌륭한 사람들은 fp32 우위를 이해하고 레이어 노름, 주의 감소, 로짓 => 소프트맥스를 캐스팅할 때 이미 이를 사용합니다(가중치가 bf16일 때에도).
ss에서 공유된 정보에 대한 RL 면도기 종이 링크 - https://t.co/uq9f816ng5 arxiv.org/abs/2509.04259것