私たちは、これらの実行が RNG であると予想することに慣れているため、何かが機能しない場合は、fp16 に移行することは試すアイデアではありません。 ただし、優れたものは fp32 の優位性を理解しており、重みが bf16 の場合でも、レイヤーノルム、アテンション削減、ロジット => ソフトマックスをキャストするときにすでにそれを使用しています。
SSで共有された情報のRL Razor Paperリンク - https://t.co/uq9f816ng5 arxiv.org/abs/2509.04259れた