Ilia(@IliaLarchenko)의 스레드

@physical_int의 Pi0.5는 현재 최고의 오픈 소스 엔드투엔드 로봇 공학 정책 중 하나입니다 🤖 이것은 Pi0의 업그레이드 버전입니다. 그리고 최신 라즈베리 파이 기술 발전은 이 버전을 기반으로 구축되었습니다. 작동 방식에 대해 알아보겠습니다.

Pi0와 비교했을 때 무엇이 ​​달라졌나요? - FAST 토큰화 - Pi0에는 FAST 버전이 선택 사항이었지만, Pi0.5부터는 학습 과정의 필수 요소입니다. - 시스템 2 - Hi Robot 논문을 참고하여, Pi 0.5는 VLM 부분을 고수준 추론 시스템 2로 활용하여 복잡한 작업을 추론하고 계획합니다. - 더 나은 훈련 레시피와 몇 가지 소소한 수정 사항.

FAST는 DCT(이산 코사인 변환)와 BPE(바이트 쌍 인코딩)를 사용하여 동작 시퀀스를 정보 밀도가 매우 높은 개별 토큰으로 압축할 수 있는 토큰화 방식입니다. DCT는 JPEG 이미지 압축에 사용되는 것과 동일한 알고리즘입니다. 이 방법은 서로 다른 주파수를 가진 코사인 함수들의 합으로 신호를 표현합니다. 처음 몇 개의 구성 요소는 신호의 전반적인 추세와 형태를 포착하고, 나머지 구성 요소들은 점점 더 자세한 정보를 포착합니다. 프로그레시브 JPEG는 저주파 성분을 먼저 전송하므로 이미지가 흐릿하게 보이다가, 성분을 추가할수록 점점 선명해집니다.

FAST는 액션 청크에 대해서도 동일한 작업을 수행합니다. 30개의 상관관계가 있는 행동 가치를 예측하는 대신, 더 간결하고 의미 있는 표현을 예측합니다. 대부분의 경우, 원래 신호의 에너지 대부분을 포함하는 몇 개의 주요 계수만 유지해도 신호의 궤적을 상당히 잘 재구성할 수 있습니다.

바이트 쌍 인코딩(BPE)은 LLM에서 가장 널리 사용되는 토큰화 방식입니다. 이 기능은 가장 흔한 토큰 쌍을 찾아 단일 토큰으로 병합합니다. 양자화된 DCT 위에 적용될 경우, 고주파 성분의 많은 0 계수와 여러 관절의 공통적인 결합 움직임이 단일 토큰으로 병합되어 강력한 압축 효과를 가져옵니다.

FAST는 동작에 고주파 노이즈(예: 타임스텝별 정규화 아티팩트)가 있거나, 계수가 0에 가깝지 않게 되면 압축률이 저하되어 압축 성능이 떨어질 수 있습니다. 실제 로봇 데이터는 대개 매끄럽기 때문에 대부분의 경우 문제없습니다. 다만 데이터 전처리 과정에서 주의해야 합니다.

단순한 작업에 맞춰 훈련된 VLA 정책은 이러한 작업들을 결합하여 복잡하고 장기적인 문제를 해결하는 데 어려움을 겪을 수 있습니다. 이 문제를 해결하기 위해 상위 시스템인 시스템 2가 사용됩니다. Pi0.5는 시스템 1(VLA)에 사용되는 것과 동일한 VLM을 사용하지만, 문제에 대한 추론과 다음 단계 정의를 위해 훨씬 낮은 빈도로 호출됩니다. 이후 이 내용은 시스템 1로 전달되어 실행됩니다.

Pi0.5 논문 이후에 공개되었지만 오픈 소스 버전 모델을 학습하는 데 사용된 추가적인 기법은 지식 절연(Knowledge Insulation)입니다. 인터넷 규모 데이터로 사전 학습된 VLM 부분과 무작위로 초기화된 액션 전문가를 함께 학습시킬 때, 액션 전문가에서 발생하는 노이즈가 섞인 그래디언트가 VLM의 사전 학습 결과를 손상시킵니다. 그 결과, VLM은 이전에 학습했던 지식을 잊어버리기 시작합니다. 해결책은 액션 전문가의 기울기를 분리하여 액션 전문가 가중치에만 영향을 미치도록 하는 것이며, VLM은 FAST 액션 토큰과 관련 비액션 데이터를 사용하여 학습됩니다.

추론 과정에서 발생하는 또 다른 문제는 청킹으로 인해 움직임이 부드럽지 않다는 점입니다. 모델은 다음 데이터 덩어리를 예측하고 실행한 다음, 잠시 멈춰서 다음 덩어리를 예측합니다(아래 비디오, 3배속). 이전 부분이 실행되기 전에 다음 부분을 예측하려고 하면, 모델이 완전히 다른 동작을 실행하는 도중에 새로운 동작 모드로 전환될 경우 치명적인 오류가 발생할 수 있습니다. 해결책은 인페인팅입니다. 이는 이미지 생성에 흔히 사용되는 기법입니다. 이전 청크가 실행되는 동안 다음 청크를 예측할 수 있지만, 이 새로운 예측이 이전 청크의 끝 부분과 정확히 일치하도록 강제합니다. 그 결과, 끊김이나 멈춤 없이 훨씬 부드러운 움직임이 구현되고, 모델의 성능과 처리량이 향상됩니다.

자세한 내용(시각 자료, 데모, 미세 조정 방법 포함)을 보려면 새 영상을 시청하세요: https://t.co/TDdhedJiDn