Andrej Karpathy와 Ilya Sutskever의 팟캐스트를 다시 듣고 Gemini 3와 NotebookLM을 사용하여 자료를 정리한 후, 저는 그들의 인터뷰에 대한 기본적인 이해를 얻었습니다. Andrej - "엔지니어링 구현 옹호자" 일리아 - "과학 탐험가" #youtube.com/watch?v=lXUZvy… 건설 이론" https://t.co/D3g7Tr1JRx 핵심 주제: "유령 깨우기"부터 "동물 만들기"까지 AI 에이전트를 실용적으로 적용하는 길은 길고 험난합니다. 인터뷰에서 안드레이 카르파티는 최고의 엔지니어이자 교육자로서 자신의 실용적인 관점을 보여주었습니다. 그는 AGI의 임박한 도래를 과장하는 대신, 현재 AI에 대한 과대광고에 귀중한 찬물, 아니 오히려 "경고"를 퍼부었습니다. 1. "유령 깨우기" vs. "동물 만들기" 이것은 안드레이가 제시한 매우 통찰력 있는 비유입니다. 그는 우리의 현재 훈련 방식이 단지 "유령을 깨우는 것"에 불과하다고 생각합니다. 대형 모델은 인간의 모든 지식과 패턴을 학습합니다. 마치 전지전능한 유령과 같지만, "실체"와 "자율성"이 부족합니다. 현재의 과제는 이 유령을 깨우는 것뿐만 아니라, 유령을 위한 "동물의 몸을 만드는 것"까지 해야 한다는 것입니다. 즉, 강화 학습, 메모리 모듈, 그리고 도구 활용 능력을 통해 유령이 동물처럼 물리적 또는 디지털 세계에서 생존하고, 행동하고, 문제를 해결할 수 있도록 해야 합니다. 2. 에이전트의 "10년 마라톤" "내년에 AGI가 출시될 것"이라는 외부 세계의 열광과는 달리, 안드레이는 진정으로 사용 가능한 에이전트를 구축하는 것은 매우 어려운 시스템 엔지니어링 문제라고 생각합니다. 그는 심지어 "10년이 걸릴 수도 있다"고 예측하기도 했습니다. 그는 이 모델들이 지능적이기는 하지만, 장기 과제에서는 어느 단계에서든 실수가 발생하면 전체 과제가 붕괴(오류 누적)될 것이라고 지적했습니다. 현재 모델은 "자체 교정"하고 "동적인 환경에서 지속적으로 학습"하는 인간의 능력이 부족합니다. 3. 경제적 영향의 "부드러운 곡선" 안드레이는 AI가 경제에 미치는 영향이 갑작스럽기보다는 점진적일 것이라고 생각합니다. 그는 AI가 과거 자동화 기술처럼 하룻밤 사이에 모든 일자리를 완전히 파괴하는 것이 아니라, 점진적으로 다양한 산업에 침투하여 효율성을 서서히 향상시킬 것이라고 생각합니다. # 일리아 수츠케버의 "패러다임 전환"과 "통찰의 순간" https://t.co/uu3JR4mEoy 핵심 주제: 확장 법칙의 한계 유용성 감소로 인해 AI는 "탐구와 깨달음"의 새로운 시대로 접어들고 있습니다. 일리아 수츠케버의 관점은 완전히 달랐습니다. 과학 탐구의 최전선에 선 그는 "옛 시대"의 종말을 예고했습니다. 스케일링 법칙을 굳게 믿었던 과거인 만큼, 그의 변화는 놀라웠을 뿐만 아니라 미래를 향한 길을 제시하기도 했습니다. 1. 스케일링 법칙의 종말(또는 질적 변화) 일리아는 단순히 컴퓨팅 파워와 데이터를 늘려 모델을 확장하는 시대는 끝났다고 분명히 밝혔습니다. 확장이 여전히 도움이 되기는 하지만, 한계적 이점은 급격히 감소하고 있습니다. 다시 말해, 2010년대의 무차별적인 미학, 즉 "크면 클수록 좋다"는 사고방식은 한계에 도달했습니다. 2. "10만 시간 학생"에서 "100시간 학생"으로 일리아는 심오한 차이점을 지적합니다. 현재의 사전 학습된 모델은 마치 "10만 시간의 책을 읽은" 학생과 같습니다. 즉, 모든 지식을 암기하지만 진정한 이해는 부족합니다. 반면 인간은 일반적으로 "통찰력"과 "새로운 상황에 지식을 적용하는 능력"을 갖추고 있기 때문에 특정 기술을 습득하는 데 "100시간"의 학습만 필요합니다. 일리아는 다음 단계의 핵심은 모델이 더 많은 책을 읽도록 하는 것(데이터가 거의 소진되었기 때문)이 아니라 모델이 "생각"하는 법을 배우고, 방대한 양의 데이터에서 실제 "가치"와 "논리"를 추출하고, "기억"에서 "추론"으로 도약하는 것이라고 생각합니다. 3. 안전은 능력이다 SSI의 설립자인 일리아는 보안이 단순히 AI에 보호 장치를 추가하는 것이 아니라 초지능 구축의 초석이라고 강조합니다. 명령뿐만 아니라 "가치"까지 이해할 수 있는 불안정한 AI만이 AGI로 가는 유일한 길입니다. # 심층 비교: 안드레이와 일리아의 관점 충돌. 안드레이가 "도로를 건설"한다면, 일리아는 "로켓을 건설"합니다. 두 사람의 핵심적인 차이점과 상호 보완적인 측면은 다음과 같습니다. 1. "병목 현상"에 대한 다양한 인식: 안드레이(공학 병목 현상): 그는 병목 현상이 시스템 통합과 신뢰성에 있다고 생각합니다. 모델은 이미 충분히 똑똑하지만, 현재 과제는 이 지능적인 "두뇌"를 유능한 "몸체"에 어떻게 통합하여 잦은 실수를 방지할 것인가입니다. 이는 더 나은 툴체인, 메모리 관리, 그리고 강화 학습을 활용한 미세 조정을 통해 해결될 수 있습니다. 일리아(과학적 병목 현상): 그는 병목 현상이 데이터 효율성과 그 기반이 되는 패러다임에 있다고 생각합니다. 현재의 훈련 방식은 너무 복잡하고, 여전히 암기식 암기에 의존하고 있습니다. 근본적인 "학습 패러다임"(다음 단어를 예측하는 것에서 진정한 논리적 추론과 가치 판단으로 전환하는 것)을 바꾸지 않고서는, 단순히 컴퓨팅 파워를 강화하는 것만으로는 진정한 초지능을 만들어낼 수 없습니다. 2. "확장"에 대한 태도 • Andrej: 기존 확장 성과를 수용하고, 훈련 후 단계에서 강화 학습을 통해 모델의 남은 가치를 어떻게 추출할 것인지에 집중합니다. 그는 기존 모델의 역량을 충분히 활용하지 못했다고 생각합니다. 일리아는 사전 학습 스케일링이 한계에 도달했다고 생각합니다. 새로운 종류의 "스케일링", 즉 추론 측 스케일링을 시작해야 합니다. 이를 통해 모델이 출력 전에 더 많은 시간을 사고하는 데 집중할 수 있습니다. 이것이 바로 미래 성장 동력입니다. 3. 미래에 대한 기대 - 안드레이(점진적 비관주의/실용주의): "모두 진정하세요. 이건 그저 도구일 뿐입니다. 유용하지만 관리하기는 어렵습니다." 그는 앞으로 해야 할 일이 많고 지저분하며 지루한 작업들이 많다고 생각하며, AGI가 사회에 통합되는 데는 오랜 시간이 걸릴 것이라고 생각합니다. • 일리아(궁극적인 이상/긴급성): "옛길은 죽었으니, 새로운 왕이 일어나야 한다." 그는 천장을 뚫고 인간의 학습 효율을 근본적으로 뛰어넘는 완전히 새로운 지능형 에이전트를 만드는 방법에 집중합니다. 그의 긴박감은 "양적 변화"의 축적보다는 "질적 변화"를 추구하는 데서 비롯됩니다. # 전반적인 느낌: 우리는 "큰 노력은 기적으로 이어진다"에서 "세련된 탐험"으로 전환하는 갈림길에 서 있습니다. Andrej의 말을 들으면 AI 에이전트의 성능이 항상 떨어지는 이유를 이해할 수 있고, 개발자로서 어떤 구체적인 엔지니어링 세부 사항(예: 데이터 품질 및 강화 학습 환경 설계)에 집중해야 하는지 알 수 있습니다. 일리아의 이야기를 들으면 향후 3~5년간의 기술 동향을 명확하게 파악할 수 있고, 거대 기업들이 왜 "추론 모델"에 열광적으로 투자하는지, 그리고 "데이터"가 더 이상 유일한 장벽이 아니라 "사고의 질"이 장벽이 되는 이유를 이해하는 데 도움이 될 것입니다.
