Andrej Karpathy(@karpathy)의 스레드

오늘 반짝반짝 빛나는 아름다운 새 HW4 테슬라 모델 X를 인도받았습니다. 5년 동안 거의 매일 하던 것처럼 바로 FSD 시승에 나섰습니다. 정말 놀랍습니다. 정말 잘 달리고, 부드럽고, 자신감 넘치며, 제가 이전에 타던 HW3(제 이전 차)보다 눈에 띄게 더 좋고, 9년 전 테슬라에 처음 왔을 때 280번 고속도로를 달렸던 버전보다는 훨씬 앞선다고 생각합니다. 그때는 길이 살짝 굽거나 경사질 때마다 매번 개입해야 했거든요. (참고로 이 차는 v13이고, 제 차는 아직 최신 v14를 타보지 못했습니다.) 고속도로에서 마치 최첨단 자기부상열차 포드에 탄 승객처럼 느껴졌습니다. 차는 차선 중앙에 갇힌 채, 저는 Model X의 높은 시야와 탁 트인 전면 유리창에서 바깥을 내다보며 (놀라운) 사운드 시스템을 듣거나 Grok과 대화를 나누었습니다. 시내 도로에서 이 차는 몇 년 전만 해도 잠을 설쳤던 몇 가지 까다로운 상황을 아무렇지 않게 헤쳐나갔습니다. 좁은 차선에서 들어오는 차량을 잘 피하고, 공사 현장이나 일시적으로 차선 안에 멈춰 있는 차량을 우아하게 피하고, 양쪽에서 들어오는 차량과 함께 까다로운 좌회전 타이밍을 정확히 맞추고, 4방향 정지 신호에서 순서가 어긋난 차량에 우아하게 양보하고, 범퍼가 맞닿을 정도로 빽빽한 차량 사이를 비집고 들어가 회전하고, 승객을 태우던 버스를 추월했지만 버스가 막은 정지 신호에서 멈췄고, 경로 끝에는 주차장을 돌아 자리를 찾아… 주차했습니다. 그야말로 흠잡을 데 없는 운전이었습니다. 참고로, 저는 동네를 잠깐 시운전하고 개선할 만한 부분들을 담은 영상 20개를 가지고 돌아오는 데 익숙합니다. 그런데도 예전처럼 똑같이 하고 돌아오는 건 처음이라 생소합니다. 완벽한 주행에 아무런 기록도 남지 않았죠. 9초라는 긴 여정 속에서 팀이 해야 할 일이 아직 더 많겠지만, 한 사람이 동네를 한 시간 정도 운전해서 문제점을 찾아내는 수준을 넘어, 실제로 차량에 가서 직접 확인해야 한다는 사실이 정말 멋지네요. 당시에는 차량 자율주행이라는 놀라운 가능성을 (완전히 확장 가능하고, 비전만 제공하며, 엔드투엔드 테슬라 방식으로) 이성적으로만 이해했지만, 이제는 직접 운전을 나가면 직관적으로도 느낄 수 있습니다. 잠깐, 물론 "운전 두뇌"에 완전히 전념하는 신경망으로 처리되는 60Hz 서라운드 비디오 스트리밍도 작동할 것이고, 인간 운전자보다 훨씬 더 안전하고 효율적일 겁니다. 혹시 다른 분들도 그렇게 생각하셨나요? 지난주 @aelluswamy의 새로운 ICCV25 강연(https://t.co/RdaM23kvez)을 시청했는데, 이 강연에서는 이러한 발전을 이끄는 최근의 내부 기술 구성 요소를 엿볼 수 있었습니다. 긴 맥락(예: 약 30초)에 걸친 센서 스트림(비디오, 지도, 운동학, 오디오 등)이 거대한 신경망으로 입력되고, 조향/가속 정보가 출력되며, 선택적으로 시각화 보조 데이터도 함께 제공됩니다. 이는 수백만 대의 차량에서 스트리밍되는 데이터와 칩의 컴퓨팅 용량에 맞춰 완벽하게 확장 가능한 완전한 소프트웨어 1.0 -> 소프트웨어 2.0 재구축의 꿈이며, 엔지니어가 메모리와 런타임의 테스트 시간 특성이 정의되지 않은 기발한 새로운 DoubleParkedCarHandler C++ 추상화 코드를 사용하는 것이 아닙니다. 새롭게 부상하는 "로보틱스+AI 대규모 스택"의 미래 방향에 대한 더 많은 힌트가 이 영상에 담겨 있습니다. 세계 재구성자, 세계 시뮬레이터 "꿈꾸는" 역학, 현실적 현실, 이러한 모든 구성 요소는 일반적, 기초적, 신경망 기반이며, 자동차는 실제로 로봇의 한 종류일 뿐입니다... 사람들은 아직 이것을 이해하고 있나요? 팀원들 정말 축하해요! 미래의 마법 같은 물건들을 만들어내고 있어요, 정말 최고예요! 그리고 저는 제 차가 너무 좋아요 <3.