스무스 DiLoCo: httarxiv.org/pdf/2512.17131aron_defazio 외) 분산되지 않는 대안으로, 메모리 오버헤드가 적고(추가 버퍼 하나만 필요) 기존 DiLoCo의 주기적인(다소 격렬한) 외부 업데이트 대신 지속적인 업데이트를 제공합니다. 배포 버전으로 확장되는 모습을 보고 싶네요!
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.
Arthur Douillard(@Ar_Douillard)의 스레드
트윗 1개 · 2025. 12. 23. 오전 9:11
작성자 정보
딥마인드 분산 학습 | DiLoCo, DiPaCo. 소르본 대학교 지속 학습 박사 과정
트윗 1개·Tue Dec 23 09:11:57
KO 번역 완료
스레드 내용