레디스(Redis)의 창시자인 살바토레 산필리포는 최근 인공지능에 대한 연말 회고록을 발표하며 8가지 핵심 사항을 제시했습니다. 먼저 배경 설명을 드리자면, 살바토레는 인공지능 분야 종사자가 아닙니다. 그는 프로그래밍계의 전설적인 인물입니다. 2009년, 그는 현재 세계에서 가장 인기 있는 캐싱 시스템 중 하나인 레디스(Redis)를 개발했습니다. 2020년, 그는 자신의 프로젝트에 전념하기 위해 레디스 개발에서 손을 뗐습니다. 그러다 2024년 말, 인공지능 도구를 적극적으로 활용하기 시작하면서 레디스로 복귀했습니다. 클로드는 그의 코딩 파트너입니다. 그의 정체성은 상당히 흥미롭습니다. 그는 기술 전문가이면서 동시에 일반 AI 사용자이기도 해서 순수 AI 연구자들보다 훨씬 더 현실적인 관점을 가지고 있습니다. 첫째, 무작위로 앵무새가 나타난다는 주장은 마침내 사실이 아닌 것으로 드러나고 있습니다. 2021년, 구글 연구원 팀닛 게브루를 비롯한 연구진은 대규모 언어 모델을 "무작위 앵무새"라고 부르는 논문을 발표했습니다. 이는 해당 모델들이 질문의 의미나 말하는 내용을 이해하지 못한 채 단순히 확률적으로 단어들을 조합한다는 것을 의미합니다. 이 비유는 생생하고 널리 사용됩니다. 하지만 살바토레는 2025년이 되면 거의 아무도 이 비유를 사용하지 않을 것이라고 말합니다. 왜냐하면 너무나 많은 증거가 있기 때문입니다. LLM 모델은 변호사 시험, 의사 시험, 수학 경시대회에서 대다수의 인간보다 뛰어난 성적을 보여줍니다. 더욱 중요한 것은, 연구자들이 이러한 모델을 역분석하는 과정을 통해 단순히 단어들을 조합한 것이 아니라 개념에 대한 내재적 표현을 실제로 포함하고 있다는 사실을 발견했다는 점입니다. 제프리 힌튼은 아주 직설적으로 말했다. 다음 단어를 정확하게 예측하려면 문장을 이해해야 한다. 이해는 예측을 대신하는 것이 아니라, 좋은 예측을 하기 위한 필수 조건이다. 물론 LLM이 그것을 진정으로 이해하는지에 대해서는 철학적인 논쟁이 있을 수 있습니다. 하지만 실질적으로는 그 논쟁은 끝났습니다. II. 마인드 체인은 과소평가된 획기적인 발견이다. 사고 과정 추적은 모델이 답변하기 전에 자신의 사고 과정을 글로 적도록 하는 것입니다. 간단해 보이지만, 그 이면에는 매우 심오한 메커니즘이 숨어 있습니다. 살바토레는 그것이 두 가지 일을 했다고 믿습니다. 첫째, 이 방법은 모델이 답변하기 전에 내부 표현을 샘플링할 수 있도록 합니다. 간단히 말하면, 질문의 맥락에서 관련 개념과 정보를 추출한 다음 해당 정보를 기반으로 답변하는 것입니다. 이는 마치 누군가가 시험 전에 연습장에 시험 개요를 작성하는 것과 유사합니다. 둘째, 강화 학습을 도입함으로써 모델은 단계적으로 사고 과정을 이끌어 정답에 도달하는 방법을 학습합니다. 각 토큰의 출력은 모델의 상태를 변화시키고, 강화 학습은 모델이 정답으로 수렴하는 경로를 찾는 데 도움을 줍니다. 특별히 신비로운 것은 아니지만, 그 효과는 놀랍습니다. 셋째, 컴퓨팅 성능 확장의 병목 현상이 해소되었습니다. 인공지능 커뮤니티에서는 모델 성능 향상은 훈련 데이터 양에 달려 있지만, 인간이 생산하는 텍스트 양에는 한계가 있으므로 결국 확장에 제약이 생길 것이라는 공감대가 형성되어 있었습니다. 하지만 이제 검증 가능한 보상을 제공하는 강화 학습 덕분에 상황이 달라졌습니다. 검증 가능한 보상이란 무엇일까요? 프로그램 속도 최적화나 수학 정리 증명과 같은 일부 작업의 경우, 모델은 결과의 질을 스스로 판단할 수 있습니다. 프로그램 속도가 빠를수록 좋고, 증명이 정확하면 정확한 것이므로 사람의 주석이 필요하지 않습니다. 이는 모델이 이러한 유형의 작업에서 지속적으로 스스로를 개선하여 거의 무한대에 가까운 훈련 신호를 생성할 수 있음을 의미합니다. 살바토레는 이것이 인공지능 분야의 차세대 주요 혁신 방향이 될 것이라고 믿습니다. 알파고의 37번째 수를 기억하시나요? 당시에는 아무도 이해하지 못했지만, 나중에 신의 계시로 여겨졌습니다. 살바토레는 LLM도 특정 분야에서 비슷한 길을 걸을 수 있다고 믿습니다. IV. 프로그래머들의 태도가 바뀌었다. 1년 전만 해도 프로그래머 커뮤니티는 인공지능 기반 프로그래밍을 마법의 무기로 여기는 쪽과 단순한 장난감으로 여기는 쪽으로 나뉘어 있었습니다. 하지만 이제 회의적인 시각을 가진 사람들이 대부분 입장을 바꿨습니다. 이유는 간단합니다. 투자 수익률이 임계점을 넘어섰기 때문입니다. 모델이 오류를 범할 수도 있지만, 그 오류를 수정하는 데 드는 비용보다 절약되는 시간이 훨씬 더 큽니다. 흥미롭게도 프로그래머들의 AI 접근 방식은 크게 두 가지 부류로 나뉩니다. 하나는 LLM을 "동료"처럼 여기고 주로 웹 기반 대화형 인터페이스를 통해 사용하는 방식입니다. 살바토레 본인도 이 부류에 속하며, 제미니(Gemini)나 클로드(Claude) 같은 웹 기반 버전을 사용하여 마치 지식이 풍부한 사람과 대화하듯 협업합니다. 또 다른 관점에서는 LLM을 "독립적이고 자율적인 코딩 지능"으로 보고, LLM이 스스로 코드를 작성하고, 테스트를 실행하고, 버그를 수정할 수 있으며, 인간은 주로 코드 검토를 담당한다고 봅니다. 이 두 가지 활용 방식은 서로 다른 철학에 기반합니다. 인공지능을 조력자로 대할 것인가, 아니면 실행자로 대할 것인가? V. 트랜스포머가 앞으로 나아갈 길일지도 모릅니다. 일부 저명한 AI 과학자들은 트랜스포머를 넘어선 아키텍처를 탐구하기 시작했으며, 명확한 기호 표현이나 세계 모델을 연구하는 회사를 설립하기도 했습니다. 살바토레는 이 문제에 대해 열린 마음을 갖고 있지만 신중한 태도를 보입니다. 그는 LLM이 본질적으로 미분 가능한 공간에서의 이산 추론에 대한 근사치이며, 근본적으로 새로운 패러다임 없이도 AGI를 구현하는 것이 불가능한 것은 아니라고 생각합니다. 더욱이, AGI는 완전히 다른 다양한 아키텍처를 통해 독립적으로 구현될 수 있습니다. 다시 말해, 모든 길은 로마로 통한다. 변압기가 유일한 길은 아닐지라도, 그렇다고 막다른 길도 아니다. VI. 사고방식의 변화는 LLM의 본질을 바꾸지 않습니다. 일부 사람들은 입장을 바꿨습니다. 예전에는 LLM을 그저 무작위적인 앵무새라고 했지만, 이제는 LLM에게 능력이 있다는 것을 인정하면서도 마인드 체인이 LLM의 본질을 근본적으로 바꾸기 때문에 이전의 비판도 여전히 타당하다고 말합니다. 살바토레는 단도직입적으로 말했다. "그들은 거짓말을 하고 있다." 아키텍처는 그대로입니다. 여전히 트랜스포머 모델이죠. 학습 목표도 다음 토큰을 예측하는 것으로 동일합니다. CoT 역시 토큰 단위로 생성되는데, 이는 다른 콘텐츠를 생성하는 방식과 다를 바 없습니다. 단순히 모델의 성능이 향상되었다는 이유만으로 "모델이 완전히 다른 것이 되었다"고 주장하며 자신의 잘못된 판단을 정당화할 수는 없습니다. 다소 직설적인 표현이지만 논리적으로는 타당합니다. 과학적 판단은 메커니즘에 기반해야 하며, 결과가 바뀌었다는 이유만으로 정의를 바꿔서는 안 됩니다. 이 점을 잘 보여주는 또 다른 예는 ARC 테스트입니다. VII. ARC 테스트는 LLM 반대에서 LLM 우호적인 방향으로 전환되었습니다. ARC는 프랑수아 숄레가 2019년에 추상적 추론 능력을 측정하기 위해 특별히 개발한 테스트입니다. 이 테스트는 기억을 되살리거나 무차별 대입 방식으로 문제를 찾는 것을 방지하고, 진정한 추론을 통해 문제를 해결하도록 설계되었습니다. 당시 많은 사람들은 LLM이 이 테스트를 결코 통과하지 못할 것이라고 생각했습니다. 그 이유는 LLM이 매우 적은 수의 샘플에서 규칙을 일반화하고 이를 새로운 상황에 적용하는 능력을 요구하는데, 무작위로 선택된 앵무새는 바로 그런 능력을 갖추지 못했기 때문입니다. 그 결과는 어땠을까요? 2024년 말까지 OpenAI의 o3는 ARC-AGI-1에서 75.7%의 정확도를 달성했습니다. 2025년에는 더욱 어려운 ARC-AGI-2에서도 최고 성능 모델들이 50% 이상의 정확도를 기록했습니다. 이러한 역전은 상당히 아이러니합니다. 이 테스트는 원래 LLM이 효과가 없다는 것을 증명하기 위해 고안되었지만, 역설적이게도 LLM이 효과적이라는 증거가 되어버렸습니다. VIII. 향후 20년을 위한 근본적인 과제 마지막으로, 요점은 단 한 문장입니다. 향후 20년 동안 인공지능이 직면할 근본적인 과제는 멸종을 피하는 것입니다. 그는 자세한 설명을 하지 않고 딱 그 한 문장만 말했습니다. 하지만 무슨 말인지 아시겠죠? 인공지능이 진정으로 강력해지면 "인공지능이 심각한 문제를 일으키지 않도록 하는 방법"은 더 이상 공상 과학 소설이 아닐 거라는 뜻입니다. 살바토레는 인공지능에 대한 열렬한 신봉자도 아니고 회의론자도 아닙니다. 그는 인공지능 기술을 이해하고 실제로 활용하는 사람입니다. 그의 관점은 순전히 학문적인 것도 아니고, 상업적인 과장 광고도 아닌, 노련한 엔지니어의 차분한 관찰에 기반합니다. 그의 핵심적인 판단은 LLM이 많은 사람들이 인정하려 하지 않는 것보다 훨씬 강력하며, 강화 학습이 새로운 가능성을 열어주고 있고, 이러한 시스템에 대한 우리의 이해는 아직 완성 단계와는 거리가 멀다는 것입니다. 이것이 아마도 2025년 인공지능 개발의 진정한 모습일 것입니다. 기능은 가속화되고 논란은 줄어들지만 불확실성은 여전히 매우 큽니다.
