일리아의 최신 인터뷰 영상, 전체 2개 국어 버전(중국어와 영어)입니다. Ilya: 스케일링 시대의 종말, 다음 단계: 모델을 사람처럼 학습시키는 방법 이 글은 일리아가 OpenAI를 떠나 SSI를 설립한 이후 현재 AI 개발, 미래 지능, 보안 정렬, 인간 사회의 진화에 대한 자신의 포괄적인 생각을 체계적으로 설명한 첫 번째 글입니다. 전체 대화의 주요 주제는 다음 세 가지를 중심으로 전개되었습니다. 현재 AI 테스트 점수는 높은 반면 실제 성능은 이상적이지 못한 이유는 무엇일까요? 인간 지능의 "일반화와 가치 함수"가 미래의 AI 훈련 방법에 어떤 영감을 줄 수 있을까? SSI는 어떤 종류의 "안전한 초지능"을 만들고 싶어하는가? 1. 현재 AI의 근본적인 문제는 높은 점수를 받을 수 있지만, 실질적인 작업을 수행할 수 없다는 것입니다. 현재 모델(예: GPT 시리즈)은 테스트 작업(평가)에서 매우 우수한 성능을 보이지만 실제 경제적 영향은 제한적입니다. 이 모델은 복잡한 작업에서 "순환 오류"를 겪을 수 있습니다. 즉, 하나의 버그를 수정해도 다른 버그가 발생할 뿐입니다. 일리아는 강화 학습 단계에서 "인간에게 보상"하는 데 너무 집중하여 실제 세계에서 일반화 능력을 소홀히 하기 때문에 이런 현상이 발생한다고 지적합니다. 2. 사전 학습 vs. 강화 학습: 진정한 지능은 어디에서 발견될까? 사전 학습: 인간의 선택 없이 "모든 데이터"를 사용하여 모델은 인간 세계에 대한 광범위한 투영을 학습합니다. 강화 학습(RL): 수동으로 설계된 환경이 필요하며, 목표는 종종 "평가에서 모델이 더 나아 보이도록 만드는 것"으로 설정됩니다. 일리아는 이 모델이 진정한 통찰력과 전이성이 부족하여 "시험을 보는 방법만 아는 학생"과 유사하다고 주장합니다. 3. 인간 지능의 핵심: 가치 기능(Value Function)과 감정(Emotion) 리아는 인간이 복잡한 세상에서 학습하고 일반화할 수 있는 이유는 우리가 "본질적인 가치 체계"를 가지고 있기 때문이라고 제안했습니다. 이 시스템은 감정입니다. 행복 → 긍정적 피드백; 불안 → 잠재적인 위험을 상기시켜줍니다. 수치심 → 사회적 전략을 조정하세요. 호기심 → 탐험심을 불러일으킨다. 강화 학습에서 이는 암묵적 가치 함수와 같습니다. 이를 통해 사람들은 처벌 신호를 기다리지 않고도 "방향이 잘못되었다"는 것을 미리 알 수 있습니다. 그러므로 그는 다음과 같이 믿는다. "진정한 지능은 단순히 예측하는 능력이 아니라, 끊임없이 업데이트되는 가치 체계입니다." 미래의 AI가 "업무가 올바른 방향으로 가고 있는지 스스로 평가하는 법"을 배울 수 있다면, 인간과 마찬가지로 "의미 중심의 학습 능력"을 갖추게 될 것입니다. 4. "스케일링 시대는 끝났고, 연구 시대가 도래했다" 일리아는 AI 산업의 현재 상황에 대해 날카롭게 비판했습니다. 그는 지난 10년간의 AI 발전은 두 시대로 나눌 수 있다고 말했습니다. 2012–2020: 연구 시대 → 혁신은 획기적인 아키텍처(AlexNet, Transformer)에서 시작됩니다. 2020–2025: 확장 시대 → 모든 노력은 "데이터 축적, 컴퓨팅 파워, 모델 매개변수"에 집중됩니다. 그는 이러한 추세가 정점에 도달했다고 믿는다. "규모 확장으로 인해 혁신이 사라졌습니다." 현재: 컴퓨팅 성능은 여전히 높지만, 추가적인 리소스 축적의 이점은 줄어들고 있습니다. 다음 획기적인 발견은 더 많은 컴퓨팅 성능을 필요로 하는 것이 아니라, 모델이 사람처럼 학습하게 하는 방법이라는 질문으로 돌아가야 합니다. 다시 말해, 양적 확장에서 구조적 혁신으로 초점이 이동했습니다. 미래 경쟁의 핵심은 컴퓨팅 파워가 아니라, 누가 새로운 학습 원리를 제시할 수 있느냐가 될 것입니다. 5. 향후 10년 로드맵 일리아의 예측: 앞으로 5~20년 안에 AI는 인간과 비슷한 방식으로 학습하게 될 것입니다. 다음과 같은 작업이 가능합니다. 세상을 적극적으로 탐험하세요. 물리 법칙과 사회 법칙을 이해합니다. 자기성찰 또한 교차 모달 추론(다중 감각 통합)도 가능합니다. 이 시스템이 성숙되면 다음과 같은 결과가 발생합니다. 경제 생산성의 폭발 교육 및 연구 모델이 완전히 재구성되었습니다. 인간과 기계의 관계는 '공동 지능' 시대로 접어들었습니다. 그러나 일리아는 이러한 시스템은 대중과 정부가 그 역량과 위험을 이해할 수 있도록 점진적이고 투명하게 구축되어야 한다고 강조했습니다. 그는 SSI가 점진적이고 안전하고 투명한 방식으로 진행될 것이라고 강조했습니다. 각 단계의 역량, 위험 및 통제 전략은 외부 검토를 받게 될 것입니다. (AI 번역이므로 사소한 오류가 있을 수 있습니다. 오류가 발생할 수 있음을 인지해 주시기 바랍니다.)
전체 내용:xiaohu.ai/c/ai/ilya-scal…2 원본 youtu.be/aR20FWCCjAsZ9Jz