Andrej Karpathy(@karpathy)의 스레드

AI가 경제에 미치는 영향에 대한 최근의 흥미로운 대화를 공유해 보겠습니다. AI는 전기, 산업 혁명 등 다양한 역사적 선례와 비교되어 왔습니다. 제 생각에는 가장 강력한 비유는 AI를 새로운 컴퓨팅 패러다임(소프트웨어 2.0)으로 비유하는 것입니다. 왜냐하면 둘 다 근본적으로 디지털 정보 처리의 자동화에 관한 것이기 때문입니다. 1980년대 컴퓨팅이 일자리 시장에 미친 영향을 예측한다면, 어떤 업무/직무의 가장 중요한 예측 요소는 알고리즘이 얼마나 고정되어 있는지일 것입니다. 즉, 단순히 기계적으로 정보를 변환하는 것일까요? (예: 타이핑, 회계, 인간 계산기 등) 당시에는 이러한 종류의 프로그램이 당시의 컴퓨팅 능력으로 (손으로, 수동으로) 작성될 수 있었습니다. 이제 AI 덕분에 이전에는 수작업으로는 상상도 할 수 없었던 새로운 프로그램을 작성할 수 있습니다. 목표(예: 분류 정확도, 보상 함수)를 지정하고, 경사하강법을 통해 프로그램 공간을 탐색하여 해당 목표에 적합한 신경망을 찾습니다. 이 글은 얼마 전 제가 작성한 소프트웨어 2.0 블로그 게시물입니다. 따라서 이 새로운 프로그래밍 패러다임에서 가장 예측 가능한 특징은 검증 가능성입니다. 작업/직무가 검증 가능하다면, 직접 또는 강화 학습을 통해 최적화할 수 있으며, 신경망은 매우 효과적으로 작동하도록 훈련될 수 있습니다. 이는 AI가 무언가를 "연습"할 수 있는 정도에 관한 것입니다. 환경은 재설정 가능해야 하고(새로운 시도를 시작할 수 있어야 함), 효율적이어야 하고(많은 시도를 할 수 있어야 함), 보상 가능해야 합니다(수행된 특정 시도에 대한 보상을 제공하는 자동화된 프로세스가 있어야 함). 새로운 프로그래밍 패러다임에서 작업/직무의 검증 가능성이 높을수록 자동화에 더 적합합니다. 검증이 불가능하다면, 일반화라는 신경망의 마법에서 벗어나거나 모방과 같은 더 약한 수단을 통해 빠져나가야 합니다. 이것이 바로 LLM에서 "삐죽삐죽한" 진전의 한계를 이끄는 원동력입니다. 검증 가능한 작업은 빠르게 진전되며, 최고 전문가의 능력을 넘어설 수도 있습니다(예: 수학, 코드, 동영상 시청 시간, 정답이 있는 퍼즐처럼 보이는 모든 것). 반면, 다른 많은 작업(창의적이고 전략적인 작업, 실제 지식, 상태, 맥락, 상식을 결합하는 작업)은 상대적으로 뒤처집니다. 소프트웨어 1.0은 사용자가 지정할 수 있는 작업을 쉽게 자동화합니다. 소프트웨어 2.0은 검증할 수 있는 작업을 쉽게 자동화합니다.