スムーズな DiLoCo: harxiv.org/pdf/2512.17131(@aaron_defazio 他) 非分散型の代替手段。メモリオーバーヘッドが少なく(バッファが1つだけ追加される)、従来のDiLoCoの周期的(かなり激しい)外部更新の代わりに継続的な更新が行われる。 分散型に拡張されるのが楽しみです!
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
1 件のツイート · 2025/12/23 9:11
スムーズな DiLoCo: harxiv.org/pdf/2512.17131(@aaron_defazio 他) 非分散型の代替手段。メモリオーバーヘッドが少なく(バッファが1つだけ追加される)、従来のDiLoCoの周期的(かなり激しい)外部更新の代わりに継続的な更新が行われる。 分散型に拡張されるのが楽しみです!