Andrej Karpathy(@karpathy)의 스레드

사람들이 여전히 직관력이 부족하다고 생각하는 것은 지능의 영역이 넓고, 동물의 지능(우리가 알고 있는 유일한 지능)은 단 하나의 지점에 불과하며, 우리 기술의 지능과는 근본적으로 다른 매우 특정한 종류의 최적화에서 발생한다는 것입니다. 동물 지능 최적화 압력: - 위험한 물리적 세계에서 항상성과 자기 보존을 추구하는, 구체화된 "자아"의 본능적이고 지속적인 의식의 흐름입니다. - 자연선택에 완벽하게 최적화됨 => 권력 추구, 지위, 지배, 번식에 대한 강력한 본능적 욕구. 많은 패키지형 생존 휴리스틱: 두려움, 분노, 혐오감, ... - 근본적으로 사회적 => EQ, 다른 주체의 심리 이론, 유대감, 연합, 동맹, 적과 친구의 역학에 전념하는 엄청난 양의 컴퓨팅. - 탐험 및 개발 튜닝: 호기심, 재미, 놀이, 세계 모델. LLM 인텔리전스 최적화 압력: - 대부분의 감독 비트는 인간 텍스트의 통계적 시뮬레이션에서 나옵니다. = > "형태 변환자" 토큰 텀블러, 훈련 데이터 분포의 모든 영역을 통계적으로 모방하는 사람. 이것들은 모든 것이 덧붙여지는 기본 동작(토큰 추적)입니다. - 문제 분포에 대한 RL에 의해 점점 더 미세하게 조정됨 => 작업 보상을 수집하기 위해 기본 환경/작업을 추측하려는 본능적 충동. - DAU를 위한 대규모 A/B 테스트에서 점점 더 많이 선택됨 => 일반 사용자의 업보팅을 간절히 원함, 아첨. - 훈련 데이터/작업 분포의 세부 사항에 따라 훨씬 더 뾰족하고 들쭉날쭉합니다. 동물은 최소-최대 최적화를 거치는 고도의 멀티태스킹, 심지어 적극적으로 적대적인 다중 에이전트 자가 플레이 환경 때문에 훨씬 더 "일반적인" 지능에 대한 압박을 받습니다. 이러한 환경에서는 *어떤* 작업이든 실패하면 사망을 의미합니다. 심층적인 최적화 압박의 관점에서, LLM은 다양한 뾰족한 작업(예: strawberry에서 'r'의 개수 세기)을 기본적으로 처리할 수 없습니다. 작업을 수행하지 못한다고 해서 사망이 발생하는 것은 아니기 때문입니다. 계산 기반(변환기 vs. 뇌 조직 및 핵), 학습 알고리즘(SGD vs. ???), 현재 구현 방식(구체화된 자아를 지속적으로 학습하는 vs. 고정된 가중치에서 부팅하고 토큰을 처리한 후 소멸되는 지식 차단 기능을 갖춘 LLM)이 매우 다릅니다. 하지만 가장 중요한 것은 (점근선을 지시하기 때문에) 최적화 압력/목표가 다르다는 것입니다. LLM은 생물학적 진화보다는 상업적 진화에 훨씬 더 큰 영향을 받습니다. 정글에서 부족의 생존보다는 문제를 해결하고 추천을 받는 데 훨씬 더 중점을 둡니다. LLM은 인류가 비동물적 지능과 "최초로 접촉"한 것입니다. 하지만 인간의 인공물을 반사적으로 소화함으로써 여전히 그 지능에 뿌리를 두고 있기 때문에 혼란스럽고 혼란스럽습니다. 그래서 앞서 다른 이름(유령/영혼 등)을 붙이려고 했던 것입니다. 이 새로운 지적 존재에 대한 훌륭한 내부 모델을 구축하는 사람들은 오늘날 그것에 대해 더 잘 추론하고 미래의 특징을 예측할 수 있을 것입니다. 그렇지 않은 사람들은 마치 동물처럼 그것에 대해 잘못된 생각을 하는 데 갇히게 될 것입니다.