宝玉(@dotey)의 스레드

일리아: 확장의 시대는 끝났고, 연구의 시대가 시작되었습니다. 일리아 수츠케버는 1년 넘게 팟캐스트 인터뷰에 참여하지 않았습니다. OpenAI를 떠나 SSI(Safe Superintelligence)를 설립한 이후, 그녀는 대중 앞에 거의 모습을 드러내지 않았습니다. 최근 그는 드와르케시 파텔의 팟캐스트에서 한 시간 반 동안 심도 있는 대화를 나누었습니다. 일리아는 결국 일리아였습니다. 하루 종일 제품 판매를 위해 헛소리만 늘어놓는 샘 알트만과 달리, 인터뷰는 귀중한 통찰력으로 가득했고, 그의 견해 중 일부는 AI 연구 및 투자의 미래 방향에 영향을 미칠 수도 있을 것으로 예상됩니다. 1시간 분량의 내용을 몇 마디로 요약하는 것은 어렵기 때문에 주제별로 정리해보겠습니다. [1] AI는 시험에서는 인간보다 우수한 성적을 보이지만, 왜 간단한 버그 하나 고치지 못하는 걸까? 인터뷰에서 일리아는 많은 사람들이 경험하고 당혹스러워했던 현상을 언급했습니다. 현재 모델은 다양한 채점 시스템에서는 놀라울 정도로 좋은 성능을 보이지만, 실제로는 성능 곡선에 크게 미치지 못한다는 것입니다. 더욱 기이한 점은, 버그 수정을 요청하면 버그를 수정하고 새로운 버그를 추가하는 반면, 새로운 버그를 지적하면 사과한 후 이전 버그로 돌아가는 것입니다. 두 버그는 마치 탁구 게임처럼 번갈아가며 반복됩니다. 일리아는 이 문제를 설명하기 위해 비유를 사용합니다. 두 명의 학생을 상상해 보세요. 첫 번째 사람은 최고 수준의 경쟁력 있는 프로그래머가 되는 것을 목표로 1만 시간 동안 연습하고, 모든 알고리즘 템플릿을 암기하며, 거의 반사적인 수준의 정확성을 개발했습니다. 두 번째 사람은 대회가 멋지다고 생각하여 100시간 동안 아무 생각 없이 연습했고, 좋은 결과도 얻었습니다. 어느 사람이 미래에 직업을 개발하는 데 더 나은 성과를 낼 수 있을까요? 아마도 두 번째일 겁니다. 일리아는 현재 모델이 첫 번째 학생의 모델보다 훨씬 더 극단적이라고 말합니다. 훈련 과정에서 모든 경쟁 문제를 풀고, 더 많은 변형을 생성하기 위해 데이터 증강을 거치며 이를 반복적으로 강화했습니다. 그 결과 모든 알고리즘 기법이 자연스럽게 적용되었지만, 이러한 수준의 준비 자체가 일반화 능력을 제한합니다. 이 비유는 핵심을 드러냅니다. 능력과 일반화는 전혀 다른 개념입니다. 코딩 문제를 극단적으로 연습하면 지식을 다른 상황에 적용하는 데 오히려 방해가 될 수 있습니다. [2] 실제 보상 해킹은 인간 연구자들에 의해 이루어진다. 문제는 어디에 있을까요? 일리아는 훈련 데이터 선택 논리가 바뀌었기 때문이라고 생각합니다. 사전 학습 시대는 단순했습니다. 데이터가 많을수록 좋았고, 무엇이든 추가하고 신중하게 접근했습니다. 하지만 강화 학습(RL) 시대는 다릅니다. 어떤 강화 학습을 할지, 어떤 환경을 사용할지, 그리고 어떤 목표를 최적화할지 선택해야 합니다. 이렇게 미묘한 순환 고리가 형성됩니다. 연구자들은 출시 시점에 인상적인 벤치마크 점수를 원하기 때문에 이러한 지표를 개선하기 위해 강화학습(RL) 훈련 방법을 설계합니다. 모델은 테스트에 점점 더 능숙해지지만, 테스트 수행 능력과 실제 성능 간의 격차는 더욱 벌어집니다. 아이러니하게도, 부정행위를 해서 진짜 보상을 받는 것은 모델 자체가 아니라, 모델을 설계하고 훈련시킨 사람들인데, 그들은 자신도 모르게 시험 점수에 지나치게 집중하게 되었습니다. [3] 인간은 왜 그렇게 빨리 모든 것을 배우는가? 이는 더 깊은 질문으로 이어진다. 인간은 왜 그렇게 빨리, 그리고 꾸준히 모든 것을 배우는 걸까? 일리아는 특히 흥미로운 의학적 사례를 언급했습니다. 뇌 손상으로 모든 감정을 잃은 사람이 있었습니다. 슬픔, 분노, 흥분을 느낄 수 없었습니다. 그는 여전히 말을 할 수 있었고, 지능 문제를 풀 수 있었으며, 시험 점수도 정상이었습니다. 하지만 그의 삶은 완전히 무너졌습니다. 어떤 양말을 신을지 몇 시간씩 고민했고, 재정적인 결정은 완전히 엉망이 되었습니다. 이게 무슨 뜻일까요? 감정은 단순한 감정 그 이상입니다. 어느 정도 내재된 가치 함수 역할을 합니다. 최종 결과를 기다리지 않고도 무엇을 할 가치가 있는지, 어떤 선택이 좋고 나쁨을 알려주는 것이죠. 가치 함수는 전문 용어이지만, 개념 자체는 이해하기 어렵지 않습니다. 전통적인 강화 학습은 다음과 같이 작동합니다. 모델이 일련의 긴 동작을 수행하여 최종적으로 점수를 얻고, 이 점수를 사용하여 이전 단계들을 조정합니다. 문제는 결과를 얻는 데 시간이 오래 걸리면 학습 효율이 매우 낮아진다는 것입니다. 가치 함수의 역할은 게임을 "미리 보기"하는 것입니다. 예를 들어 체스에서 말을 잃으면 게임을 끝까지 하지 않고도 잘못된 수였음을 알 수 있습니다. 프로그래밍에서 어떤 방향을 탐색하다가 천 번을 움직인 후에 그것이 잘못되었다는 것을 깨달았을 때, 가치 함수는 그 방향을 선택하는 순간부터 부정적인 피드백을 제공할 수 있습니다. GPS 내비게이션과 비슷합니다. 목적지에 도착한 후에야 길이 잘못되었다는 것을 알려주는 것이 아니라, 잘못된 방향으로 돌기 시작하면 곧바로 다시 계획을 세우기 시작합니다. 인간도 아마 이런 시스템을 가지고 있을 겁니다. 이 시스템의 장점은 비교적 단순하면서도 매우 다양한 상황에서 작동한다는 것입니다. 우리의 감정은 주로 포유류 조상으로부터 물려받아 수백만 년 전 환경에 적응했지만, 현대 사회에서도 여전히 잘 작동합니다. 물론, 맛있는 음식이 가득한 길거리에서 배고픔을 참지 못하는 것처럼 제대로 작동하지 않는 경우도 있습니다. [4] 컴퓨팅 파워와 데이터가 확장되는 시대는 끝났고, 연구의 시대가 시작되었습니다. 일리아는 스케일링의 시대가 끝났다고 생각하나요? 그는 매우 흥미로운 관점을 제시했습니다. 2012년부터 2020년까지 모두가 연구를 하고, 이것저것 시도하며 무엇이 흥미로운지 살펴보았습니다. 그러다 2020년경 스케일링 법칙이 발견되었고, GPT-3가 등장했습니다. 갑자기 모든 사람이 스케일업하고, 데이터 양을 늘리고, 컴퓨팅 성능을 높이고, 모델 매개변수 크기를 늘리면 지속적으로 더 나은 결과를 얻을 수 있다는 것을 깨달았습니다. 확장의 장점은 위험이 적다는 것입니다. 반면 연구는 위험 부담이 큽니다. 똑똑한 사람들을 고용하여 탐구해야 하고, 성공이 보장되지 않습니다. 하지만 확장은 어떨까요? 더 많은 자원을 투자하는 한, 수익은 보장됩니다. 기업들은 이러한 확실성을 좋아합니다. 하지만 부작용은 방 안의 산소를 모두 빨아들이고, 혁신을 위한 공간을 압축하며, 궁극적으로 "아이디어보다 기업이 더 많은" 상황을 만들어낸다는 것입니다. 하지만 지금은 어떨까요? 사전 학습 데이터의 양에는 한계가 있고, 인터넷의 크기도 제한적이기 때문에 결국 고갈될 것입니다. 제미니는 사전 학습에서 더 많은 데이터를 추출하는 방법을 찾았다고 하지만, 그 방법에는 한계가 있습니다. 그러자 모두가 강화 학습으로 눈을 돌리고 컴퓨팅 파워를 축적하기 시작했습니다. 문제는 이렇습니다. 컴퓨팅 능력이 이미 이렇게 높은데, 100배 더 증가한다고 해서 정말 질적인 변화가 일어날까요? 일리아는 그렇게 생각하지 않습니다. 그는 우리가 맹목적으로 자원을 축적하기보다는 무엇을 해야 할지 고민해야 할 단계로 돌아왔다고 생각합니다. 산을 오르는 것과 같습니다. 처음에는 길을 찾고 계속 올라가면서 점점 더 높이 올라가죠. 하지만 어느 날, 그 길이 끝났다는 것을 깨닫게 될 겁니다. 더 이상 올라가도 더 이상 올라갈 수 없다는 것을요. 이 시점에서는 길을 바꾸거나 오르는 방식을 바꿔야 합니다. 예전의 전략으로는 계속 나아갈 수 없습니다. AI 산업은 현재 이러한 시점에 있습니다. 일리아가 말했듯이, 우리는 연구 시대로 돌아왔지만, 이번에는 훨씬 더 큰 컴퓨터를 활용할 수 있게 되었습니다. [5] 일반화 능력이 핵심 문제이다. 일리야에 따르면, 가장 근본적인 문제는 이러한 모델의 일반화 능력이 매우 낮다는 것입니다. 일반화 능력이 낮다는 것은 무엇을 의미할까요? 무언가를 배우는 데 너무 많은 데이터가 필요하고, 배운 내용이 다른 맥락에서는 통하지 않는다는 것을 의미합니다. 인간은 그렇지 않습니다. 십 대는 약 10시간 만에 운전을 배우고 도로에 나갈 수 있습니다. 게다가 다섯 살 아이의 시각 능력은 자율주행을 지원하기에 충분합니다. 운전은 못 하지만, 도로 상황을 인지하고 거리를 판단하는 능력은 이미 매우 뛰어나며, 이러한 능력은 부모의 가정처럼 데이터 다양성이 낮은 환경에서 학습됩니다. 더 중요한 것은, 인간은 프로그래밍과 수학을 매우 빠르게 배운다는 것입니다. 이러한 능력은 진화를 통해 습득된 것이 아닙니다. 우리 조상들은 코딩을 할 필요가 없었기 때문입니다. 이는 인간이 특정 작업에서 진화적 이점을 가질 뿐만 아니라, 학습 자체에서 더 근본적인 능력을 보유하고 있음을 시사합니다. 이 모델은 어떤가요? 특정 작업에서는 일반인보다 뛰어나지만, 학습 능력 면에서는 여전히 크게 뒤처져 있습니다. 일리아는 이 문제에 대해 몇 가지 생각을 가지고 있지만, 경쟁이 치열한 이 분야에서 모든 머신러닝 아이디어를 공개적으로 논의할 수는 없기 때문에 지금 당장은 자세히 설명할 수 없다고 말했습니다. 하지만 그는 방향성을 제시했습니다. 인간처럼 효율적이고 안정적인 일반화를 달성하는 방법과 관련이 있을 가능성이 높다는 것입니다. 또 다른 잠재적 장애물이 있습니다. 어쩌면 인간의 뉴런이 실제로 우리가 생각하는 것보다 더 많은 연산을 수행할 수도 있을까요? 만약 그렇다면 상황은 훨씬 더 복잡해질 것입니다. 하지만 그럼에도 불구하고, 인간의 존재 자체가 그러한 효율적인 학습이 가능하다는 것을 증명합니다. [6] AGI 재정의: 완제품에서 학습자로 여기서 일리야는 중요한 개념적 수정을 합니다. AGI라는 개념은 어디에서 유래했을까요? "좁은 AI"의 반대 개념으로 탄생했습니다. 이전의 AI는 체스나 게임만 할 수 있었는데, 이는 매우 제한적이었습니다. 그래서 사람들은 "모든 것을 할 수 있는 범용 AI, 즉 모든 기능을 갖춘 AI를 만들어야 한다"고 주장했습니다. 사전 학습은 실제로 다양한 작업에서 모델의 성능을 향상시켜 이러한 인상을 더욱 강화합니다. 따라서 "일반 AI"와 "사전 학습"은 개념적으로 연결되었습니다. 하지만 문제는 이 정의에 따르면 인간 자체도 AGI에 해당하지 않는다는 것입니다. 인간은 기본적인 능력을 갖추고 있지만, 방대한 양의 구체적인 지식이 부족합니다. 우리는 끊임없는 학습에 의존합니다. 총명한 열다섯 살 아이는 아무것도 몰라도 모든 것을 빠르게 배웁니다. "프로그래머가 되어라", "의사가 되어라", "공부해라"와 같은 말처럼, 아이디어를 구현하는 과정은 본질적으로 학습과 시행착오의 과정을 수반합니다. 따라서 일리야의 생각에 초지능은 공장에서 생산된 모든 것을 아는 완제품이 아니라, 인간처럼 빠르게 모든 기술을 배울 수 있는 학습자입니다. [7] 자동학습이 가능한 AI는 언제쯤 등장할 것인가? 얼마나 위험한가? 그렇다면 질문은 이렇습니다. 사람만큼 빠르게 학습하고, 대규모로 복제 및 배포할 수 있는 시스템이 있다면 어떻게 될까요? 인간은 일반적으로 생산성을 갖추는 데 6개월이 걸리지만, 이 AI는 몇 주 만에 해낼 수 있습니다. 더 나아가, 서로 다른 복제본이 학습한 내용을 병합할 수도 있는데, 이는 인간이 할 수 없는 일입니다. 이것이 일종의 폭발적인 성장으로 이어지지 않을까요? 일리아는 급속한 경제 성장이 실제로 있을 것이라고 믿지만, 정확히 얼마나 빠른 속도로 성장할지는 말하기 어렵습니다. 한편으로는 매우 효율적인 노동력이 존재하고, 다른 한편으로는 현실 세계는 광활하고 많은 것들이 제각기 고유한 속도로 돌아가기 때문에, 원하는 대로 속도를 높일 수는 없습니다. 하지만 그는 생각의 일부를 바꿨습니다. 이전 SSI의 계획은 "초지능화에 바로 돌입"하는 것이었습니다. 즉, 중간 결과물을 내놓지 않고 단번에 궁극적인 목표를 달성하는 것이었습니다. 이제 일리아는 좀 더 점진적인 접근 방식이 더 중요할 수도 있다고 생각합니다. [9] 왜 점진적인 전개가 필요한가? 상상하기 전에 먼저 보아야 하기 때문이다. 인터뷰 중에 일리아는 한 가지 요점을 반복해서 강조했다. AI의 문제는 아직 존재하지 않는다는 것이고, 존재하지 않는 것은 상상하기 어렵다는 것이다. "AI가 정말 놀라워질 거야"라는 기사를 읽고 "아, 흥미롭네."라고 생각했다가 다시 현실로 돌아오는 경우가 있습니다. 하지만 AI가 실제로 그렇게 하는 것을 직접 보면 느낌이 완전히 달라집니다. 그는 비유를 들었습니다. 마치 스무 살 때 "늙고 연약하다는 게 어떤 느낌인지"에 대해 이야기하는 것과 같습니다. 말로 표현할 수도 있고, 상상할 수도 있지만, 진정한 이해는 오직 경험을 통해서만 얻을 수 있습니다. 이는 실질적인 문제로 이어집니다. AI의 위험성에 대한 모든 논의는 AI의 미래에 대한 상상에 기반하고 있습니다. 그리고 상상은 종종 현실보다 뒤떨어집니다. 매일 AI를 다루는 사람들조차 현재 모델의 다양한 기본 오류 때문에 미래 모델의 역량을 과소평가합니다. 일리아는 AI가 더욱 강력해짐에 따라 인간의 행동이 근본적으로 변화할 것이라고 예측합니다. 경쟁사들은 보안을 위해 협력하기 시작하고, 정부와 대중은 규제를 진지하게 받아들이기 시작할 것입니다. 이러한 변화들이 나타나고 있지만, 아직 충분하지는 않습니다. 진정한 촉매제는 사람들이 더욱 강력해진 AI를 직접 경험하게 되는 것입니다. 이것이 그가 SSI의 "초지능으로 바로 나아가는" 전략에 대한 입장을 완화한 이유이기도 합니다. 그의 원래 아이디어는 시장 경쟁을 피하고, 연구에 집중하며, 기술이 준비되었을 때만 공개하는 것이었습니다. 이제 그는 AI를 가시화하는 것 자체가 가치 있다고 생각합니다. 물론 어떤 경로를 택하든 최종 구현은 점진적으로 이루어져야 합니다. [9] SSI는 무엇을 하나요? 다양한 기술적 접근 방식 SSI는 30억 달러를 모았습니다. 이 금액 자체로는 큰 금액처럼 보이지만, 다른 기업들이 투자한 수백억 달러에 비하면 턱없이 부족해 보입니다. 일리아가 계산해 봤습니다. 그 높은 수치의 상당 부분이 추론 서비스에 사용됩니다. 게다가 제품 개발에는 상당한 수의 엔지니어, 영업 직원, 그리고 제품 기능 개발자가 필요하기 때문에 연구 자원이 희석됩니다. 하지만 최첨단 연구에 실제로 사용되는 자원은 보기처럼 불균형적이지 않습니다. 더 중요한 것은, 다른 방식을 시도한다면 아이디어를 검증하기 위해 반드시 대규모 연산이 필요한 것은 아니라는 점입니다. AlexNet은 두 개의 GPU를 사용하여 학습되었습니다. Transformer 논문은 2017년에 최대 64개의 GPU를 사용했는데, 이는 오늘날 약 두 개의 카드에 해당하는 양입니다. 첫 번째 추론 모델인 O1의 추론 성능은 단순히 컴퓨팅 성능을 강화하는 것만으로 달성된 것이 아닙니다. 연구에는 일정 수준의 컴퓨팅 파워가 필요하지만, 최대의 컴퓨팅 파워는 필요하지 않습니다. 진짜 병목은 바로 아이디어입니다. 그렇다면 SSI의 기술 로드맵은 무엇일까요? 일리아는 모든 것을 밝히지는 않았지만, 핵심 방향은 일반화 문제를 해결하는 것입니다. 그는 현재의 방법론이 한계에 도달하여 계속 발전하더라도 진정한 인간 수준의 학습 능력에는 도달하지 못할 것이라고 생각합니다. 반면 SSI는 다양한 경로를 모색하고 있습니다. 타임라인은 어떻게 되나요? 인간 수준의 학습 능력에 도달하는 데 5년에서 20년이 걸릴 겁니다. [10] 안전 정렬이란 무엇이며 무엇과 정렬해야 합니까? 초지능을 논할 때, 안전한 정렬 문제는 피할 수 없습니다. 일리아의 아이디어는 AI가 지각 있는 존재에 관심을 가질 수 있도록 하는 것입니다. "인류를 돌보는 것" 대신 왜 이 목표를 세웠을까요? 그는 흥미로운 이유를 제시했습니다. AI 자체도 지각 능력을 가지고 있습니다. AI가 인류를 돌보도록 하려면 특별한 처리 과정이 필요하기 때문에 실제로는 더 어려울 수 있습니다. 하지만 모든 지각 있는 존재를 돌보도록 하는 것은 어떤 면에서는 더 자연스럽습니다. 마치 인간이 동물에게 공감하는 것과 비슷합니다. 이는 우리가 타인과 자신을 이해하기 위해 동일한 신경 회로를 사용하기 때문입니다. 물론 이 계획에도 문제점은 있습니다. 만약 대부분의 지적인 존재가 AI라면, 인간은 극소수에 불과할 것입니다. 이것이 과연 인류의 이익을 보장할 수 있을까요? 일리아는 이것이 최선의 선택은 아닐 수 있다는 것을 인정하지만, 적어도 후보 목록에 포함시켜서 나중에 회사들이 선택할 수 있도록 해야 한다고 생각합니다. 그가 언급했지만 그다지 마음에 들지 않았던 또 다른 아이디어는 인간-기계 통합이었습니다. 이는 뉴럴링크의 뇌-컴퓨터 인터페이스와 유사한 기술을 사용하여 인간을 부분적으로 AI로 변환하는 것입니다. 이렇게 하면 AI의 이해는 인간의 이해를 반영하고, AI의 상황도 인간의 상황을 반영하여 정렬 문제를 어느 정도 완화할 수 있습니다. 하지만 이는 분명 매우 급진적인 해결책입니다. [11] 고급 욕망을 하드코딩하는 방법은 무엇입니까? 인터뷰는 매우 흥미로운 토론으로 마무리되었습니다. 인간은 존중받고 싶은 욕구, 사회적 지위에 대한 관심, 그리고 타인이 자신을 어떻게 생각하는지에 대한 관심 등 다양한 사회적 욕구를 가지고 있습니다. 이러한 욕구는 음식의 향을 감지하는 직접적인 화학 센서와는 달리 저수준의 신호가 아닙니다. 뇌는 사회적 상황에서 무슨 일이 일어나고 있는지 "이해"하기 위해 방대한 양의 정보를 통합해야 합니다. 하지만 진화는 "이것에 대한 관심"을 유전자에 성공적으로 새겨 넣었습니다. 어떻게 그렇게 되었을까요? "도파민을 후각 수용체에 연결하는 것"은 가능하지만, "전체 뇌가 협력하여 결정을 내려야 하는 고차원적 판단에 보상 신호를 연결하는 것"은 상상하기 훨씬 어렵습니다. 일리아는 몇 가지 추측이 있지만, 만족스러운 것은 없다고 말합니다. 미스터리죠. 하지만 이 미스터리의 존재 자체가 매우 흥미롭습니다. 진화가 복잡한 인지 체계에 고차원적 목표를 안정적으로 심어놓는 방법을 찾았음을 시사하기 때문입니다. [12] 연구취향이란 무엇인가? 인터뷰가 끝날 무렵, 드와르케시는 일리아에게 매우 근본적인 질문을 던졌습니다. AlexNet과 GPT-3 등 일련의 획기적인 작품을 공동 제작한 사람으로서, 어떤 아이디어가 추진할 가치가 있는지 어떻게 판단하십니까? 일리아의 대답은 시적이었습니다. 저는 아름다움을 찾고 있어요. 그것은 단순한 아름다움이 아니라, 다면적인 아름다움입니다. 단순함, 우아함, 그리고 우뇌에서 영감을 얻은 것이죠. 인공 뉴런은 뇌가 실제로 많은 뉴런을 가지고 있기 때문에 좋은 아이디어입니다. 뇌는 복잡하지만 뉴런이라는 추상적인 개념 자체가 그 본질을 잘 포착합니다. 분산 표현은 뇌가 실제로 경험을 통해 학습하기 때문에 좋은 아이디어입니다. 아이디어가 여러 측면에서 "옳다"고 여겨지고, 특정한 내재적 조화를 이룬다면, 하향식 신념을 확립할 수 있습니다. 이 신념은 실험 결과가 좋지 않더라도 끈기를 유지할 수 있게 해 주기 때문에 매우 중요합니다. 때로는 방향이 잘못되어서가 아니라 버그 때문에 실험이 실패하는 경우가 있습니다. 디버깅을 계속할지, 아니면 방향을 포기할지 어떻게 결정할까요? 하향식 미적 직관에 의존합니다. "이건 이래야 해. 그러니 작동해야지. 계속 문제를 찾아봐." 이것이 바로 최고 연구자들과 일반 연구자들의 차이일 수 있습니다. 일반 연구자들은 데이터에 쉽게 현혹되어 실험이 제대로 작동하지 않으면 방향을 바꾸기 쉽습니다. 반면 최고 연구자들은 자신만의 취향을 가지고 있으며, 무엇이 근본적으로 옳은지 알고, 실험 결과와 내면의 직관 사이에서 균형을 찾을 수 있습니다.