많은 사람들이 알렉스 쿠퍼의 2025년 요약본을 번역하거나 요약했을 거라고 생각합니다. 저는 제 학습을 위해 다시 작성하고 형식을 다듬었습니다. 원문을 읽어보시는 것을 추천합니다. --- 안드레이 카르파티는 2025년 LLM 회고록을 작성하면서 "판도를 바꿀" 여섯 가지 요소를 제시했습니다. 1. 강화 학습이 새로운 응용 분야를 찾았습니다. 이전에는 대규모 모델 학습에 세 단계가 포함되었습니다. ① 사전 학습 (2020년 GPT-2/3 데이터셋) ② 모니터링 및 미세 조정 (2022년 InstructGPT) ④ 인간 피드백 강화 학습(RLHF, 2022년 발표 예정). 이 공식은 수년간 변함없이 유지되어 왔습니다. 2025년에는 네 번째 단계인 RLVR(검증 가능한 보상 강화 학습)이 추가되었습니다. 모델이 수학 문제를 풀거나 코드를 작성하는 등 표준적인 답이 있는 과제를 수행할 때, 스스로 추론 전략을 찾아낼 것입니다. 그들은 문제를 더 작은 단계로 나누고, 반복적으로 시도하고 실패하며, 자신에게 맞는 방법을 찾아냅니다. 이러한 전략들은 기존 훈련 방법을 사용해서는 가르치기 어렵습니다. 왜냐하면 모델에 최적의 추론 경로가 무엇인지 알 수 없기 때문입니다. 오직 보상 최적화를 통해 모델 스스로 최적의 경로를 발견하도록 할 수밖에 없습니다. 핵심적인 변화는 컴퓨팅 자원의 할당 방식입니다. 이전의 지도 미세 조정과 RLHF는 모두 계산 비용이 거의 들지 않는 "얇은 층"이었습니다. 하지만 RLVR은 보상 함수가 객관적이고 악용될 수 없기 때문에 학습에 오랜 시간이 걸릴 수 있습니다. 결과적으로, 원래 사전 학습을 위해 할당되었던 컴퓨팅 파워는 RLVR에 소모되었습니다. 따라서 2025년에는 모델 크기는 크게 변하지 않았지만, 강화 학습 시간은 상당히 길어졌습니다. 또한, 테스트 중 계산량을 조절하는 새로운 제어 장치가 추가되었습니다. 모델의 성능을 향상시키려면 추론 과정을 더 길게 만들고 "사고 시간"을 늘려야 합니다. OpenAI의 o1(2024년 말 출시 예정)은 최초의 RLVR 모델입니다. 하지만 3년(2025년 초)이 진정한 전환점이며, 그 차이를 직접적으로 느낄 수 있을 것입니다. 2. 우리는 동물을 기르는 것이 아니라 귀신을 소환하는 것입니다. 카르파티는 2025년에 대규모 모델 지능의 "형태"를 더욱 직관적으로 이해하기 시작했다고 말했다. 그는 매우 흥미로운 비유를 들었습니다. 우리는 진화하는 동물이 아니라 유령을 소환하는 존재라는 것입니다. 대규모 모델에서는 모든 것이 다릅니다. 신경망 아키텍처, 훈련 데이터, 훈련 알고리즘, 그리고 특히 최적화 압력이 훨씬 더 큽니다. 인간의 지능은 정글에서의 생존에 최적화되어 있다. 하지만 대규모 모델의 지능은 인간의 텍스트를 모방하고, 수학 문제에서 보상을 얻고, 언어 학습 분야에서 인간의 승인을 얻도록 최적화되어 있습니다. 그러므로 그들의 능력은 톱니처럼 매우 불균형적입니다. 검증 가능한 영역(예: 수학 및 코드)에서 모델은 RLVR을 사용하여 훈련할 수 있기 때문에 그 기능이 "폭발적으로" 향상될 수 있습니다. 하지만 이는 언제든 탈옥 공격으로 개인 정보가 유출될 수 있는, 혼란스러운 초등학생일 수도 있습니다. 카르파티는 인간의 지능 또한 들쭉날쭉하지만, 그 모양이 다를 뿐이라고 말합니다. 그는 평가 기준에 대한 신뢰를 잃었다. 핵심 문제는 벤치마크 테스트가 거의 항상 검증 가능한 환경에서 수행되므로 곧바로 RLVR 및 합성 데이터 생성의 대상이 된다는 점입니다. 연구팀은 벤치마크가 차지하는 임베딩 공간 근처에 학습 환경을 구축하고, 들쭉날쭉한 가장자리를 만들어 벤치마크를 덮습니다. 테스트 세트를 활용한 학습은 새로운 예술 형태로 발전했습니다. (아이러니하죠?) 그는 또한 매우 의미심장한 질문을 던졌습니다. 모든 기준 테스트에서 높은 점수를 받았지만 여전히 인공 일반 지능(AGI)을 달성하지 못한다면 어떤 기분이 들까요? 3. 커서를 사용하면 누구나 애플리케이션 레이어를 볼 수 있습니다. Cursor는 올해 매우 인기를 얻었지만, Karpathy는 Cursor가 사람들에게 "LLM 지원서 작성"의 새로운 수준을 보여주었다는 점이 더 중요하다고 생각합니다. 사람들이 "X에 대한 커서"라고 말하기 시작했습니다. Cursors와 같은 애플리케이션은 대규모 모델을 한 번만 조정하는 것 이상의 작업을 수행합니다. ① 컨텍스트 엔지니어링을 수행합니다. ② 백그라운드에서 여러 개의 대규모 모델 호출을 연결하여 성능과 비용의 균형을 유지하면서 점점 더 복잡한 DAG(방향 비순환 그래프)를 생성합니다. ③ 사용자에게 애플리케이션별 인터페이스를 제공합니다. ④ 사용자가 자유도를 조절할 수 있는 "자체 조절 슬라이더"를 제공합니다. 2025년에는 이 애플리케이션 레이어가 얼마나 "두꺼워질" 것인지에 대한 논의가 활발하게 이루어졌습니다. 대형 모델 연구소가 모든 응용 분야를 잠식할까요? 아니면 LLM 응용 분야가 살아남을 수 있는 자체적인 공간을 확보할까요? 카르파티의 의견은 다음과 같습니다. 대규모 모델 연구실은 "우수한 대학생"을 배출할 수 있다. 하지만 LLM 애플리케이션은 개인 데이터, 센서, 액추에이터 및 피드백 루프를 제공하여 이러한 대학생들을 특정 분야의 전문 팀으로 조직화합니다. 4. 클로드 코드(Claude Code)는 인공지능을 여러분의 컴퓨터에 접목시킵니다. 클로드 코드는 2025년 최초의 설득력 있는 "지능형 에이전트"입니다. 이는 복잡한 문제를 해결하기 위해 도구와 추론을 순환적인 방식으로 활용합니다. 하지만 더 중요한 것은, 이 프로그램은 사용자의 개인 환경, 데이터 및 컨텍스트를 사용하여 사용자의 컴퓨터에서 실행된다는 점입니다. 카르파티는 오픈AI가 잘못된 방향으로 가고 있다고 생각합니다. 그들은 로컬호스트가 아닌 ChatGPT에서 오케스트레이션되는 클라우드 컨테이너의 Codex 및 에이전트에 노력을 집중했습니다. 클라우드 기반 지능형 군집은 "궁극의 인공 일반 지능(AGI)"처럼 들리지만, 우리는 현재 역량 개발이 고르지 않고 발전 속도가 느린 과도기적 세계에 살고 있습니다. 이 단계에서는 지능형 에이전트가 컴퓨터에서 개발자와 직접 협력하는 것이 더 합리적입니다. 클로드 코드(Claude Code)는 이를 간단하고 우아한 명령줄 도구로 만들어 인공지능의 작동 방식을 혁신적으로 변화시켰습니다. 이제는 단순히 방문하는 웹사이트(예: 구글)가 아니라, 컴퓨터에 "살아있는" 작은 요정이나 유령 같은 존재가 되었습니다. 이는 인공지능과 상호작용하는 새로운 패러다임입니다. 5. 바이브 코딩은 프로그래밍을 누구나 쉽게 접할 수 있도록 해줍니다. 2025년에는 인공지능이 일정 수준의 역량을 갖추게 될 것입니다. 코드가 어떻게 생겼는지 신경 쓰지 않고도 영어로 프로그램을 설명함으로써 온갖 복잡한 프로그램을 만들 수 있습니다. 카르파티는 트위터에 "바이브 코딩"이라는 용어를 무심코 언급했는데, 이렇게까지 널리 퍼질 줄은 전혀 예상하지 못했다. Vibe Coding은 프로그래밍이 더 이상 전문가만의 영역이 아니라는 것을 보여줍니다. 누구나 프로그래밍을 할 수 있습니다. 하지만 더 중요한 것은, 이를 통해 전문가들이 평소에는 작성하지 않았을 소프트웨어를 더 많이 작성할 수 있게 된다는 점입니다. 카르파티는 자신의 예를 들었다. 나노챗 프로젝트에서 그는 Rust로 효율적인 BPE 토크나이저를 작성했지만, Rust를 그 수준에서 전혀 이해하지 못했고 전적으로 Vibe Coding에 의존했습니다. 그는 또한 menugen, llm-council, reader3, HN time capsule과 같은 간단한 데모 프로젝트를 많이 진행했고, 버그를 찾기 위해 단발성 프로그램도 몇 개 만들었습니다. 코드는 갑자기 무료가 되었고, 수명이 짧았으며, 변형이 용이하고, 쉽게 버릴 수 있는 것이 되었습니다. 바이브 코딩은 소프트웨어의 모습과 업무의 정의를 바꿀 것입니다. 카르파티는 또한 자신의 이전 기사인 "사람들에게 힘을 실어주다: LLM이 기술 확산을 어떻게 혁신하고 있는가"에 대해서도 언급했습니다. 기존의 어떤 기술과도 달리, 대규모 모델을 통해 일반인이 얻는 이점은 전문가, 기업, 정부가 얻는 이점을 훨씬 능가합니다. 6. 나노 바나나는 대형 모델을 위한 GUI입니다. 구글의 제미니 나노 바나나는 2025년 가장 놀라운 모델 중 하나입니다. 카르파티는 대규모 모델이 1970년대와 80년대의 컴퓨터처럼 차세대 주요 컴퓨팅 패러다임이 될 것이라고 믿습니다. 따라서 우리는 비슷한 이유로 비슷한 혁신을 목격하게 됩니다. 개별 연산에 해당하는 것, 마이크로컨트롤러(인지 코어)에 해당하는 것, 그리고 인터넷(지능형 에이전트 네트워크)에 해당하는 것이 있을 것입니다. 대화형 인터페이스에서 대형 모형과 "대화"하는 것은 마치 1980년대 콘솔에서 명령어를 입력하는 것과 같습니다. 텍스트는 컴퓨터와 대형 모델이 선호하는 원시 형식인데, 인간이 선호하는 형식은 아닙니다. 사실 사람들은 독서를 좋아하지 않아요. 너무 느리고 지루하거든요. 사람들은 시각적이고 공간적인 정보를 선호하기 때문에 기존 컴퓨터는 GUI를 발명했습니다. 대형 모델은 이미지, 인포그래픽, 슬라이드, 화이트보드, 애니메이션, 비디오 및 웹 애플리케이션과 같이 우리가 선호하는 형식으로 정보를 전달해야 합니다. 초기 버전에서는 이모티콘과 마크다운을 사용했는데, 이는 제목, 굵게, 기울임꼴, 목록, 표 등을 활용하여 텍스트를 "꾸미는" 방법으로 정보를 더 쉽게 이해할 수 있도록 했습니다. 하지만 누가 실제로 이렇게 큰 모델의 GUI를 만들까요? 나노 바나나는 그 초기 징후 중 하나입니다. 중요한 것은 단순히 이미지를 생성하는 것 이상의 기능을 수행한다는 점입니다. 텍스트 생성, 이미지 생성, 그리고 세계 지식을 모델 가중치에 통합하여 공동의 기능을 구축합니다. 마지막으로 카르파티는 2025년 대형 모델이 예상보다 훨씬 똑똑하기도 하고 훨씬 멍청하기도 하다고 말했다. 하지만 이러한 기술들은 매우 유용하며, 업계는 아직 그 잠재력의 10%도 활용하지 못하고 있습니다. 시도해 볼 아이디어가 너무 많아요. 이 분야는 개념적으로 아직 매우 열려있습니다. 그는 올해 드와르케시 팟캐스트에서 매우 흥미로운 말을 했습니다. 그는 겉보기에 모순되는 두 가지를 동시에 믿고 있는데, 하나는 우리가 빠르고 지속적인 발전을 보게 될 것이라는 것이고, 다른 하나는 아직 해야 할 일이 많다는 것입니다. 꽉 잡으세요.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.