宝玉(@dotey)의 스레드

일리아는 트위터를 통해 인터뷰 내용을 명확히 하고 보완했습니다. 인터뷰에서 명확히 언급하지 못한 부분이 있어서 여기에 추가하겠습니다. 컴퓨팅 성능, 데이터, 그리고 훈련 환경을 늘리는 현재 방식대로 확장을 지속한다면 분명 더 큰 개선으로 이어질 것입니다. 정체되지 않고 계속해서 발전할 것입니다. 하지만 중요한 것이 항상 빠져 있습니다. 이는 오해의 소지를 바로잡기 위한 것입니다. 인터뷰에서 그는 "연구 시대로 돌아가는 것"과 "현재의 방법론은 한계에 부딪힐 것"에 대해 많은 언급을 했는데, 이는 사람들이 그가 법률 확장에 대해 비관적이며 컴퓨팅 파워, 데이터, 그리고 강화학습(RL) 훈련을 계속 늘리는 것이 비효율적이라고 생각하게 만들 수 있습니다. 그는 그게 뜻하는 바가 아니라고 말했습니다. 현재 방식은 계속해서 개선을 가져올 것이고 정체되지 않을 것이라고요. 모델은 계속 강화될 것이고, 벤치마크는 계속 상승할 것이며, 제품은 계속해서 개선될 것이고, 회사는 계속해서 수익을 낼 것이라고요. 마지막에 "하지만"이 있다는 점에 주목하세요. 어떤 것들은 아무리 확장해도 얻을 수 없습니다. 마치 단거리 달리기 훈련과 같습니다. 꾸준히 훈련하면 기록이 향상될 겁니다. 12초에서 11.5초, 그리고 11초, 심지어 10.9초까지요. 정말 큰 발전이죠. 하지만 목표가 나는 법을 배우는 것이라면, 아무리 빨리 달려도 소용없습니다. 완전히 다른 능력이 필요하니까요. 무엇이 빠졌나요? 인터뷰 내용을 바탕으로 볼 때, 이 "중대한 결함"은 아마도 다음을 의미할 것입니다. 1. 진정한 일반화 능력은 방대한 양의 데이터로 학습한 후 많은 작업을 수행할 수 있는 능력이 아니라, 제한된 경험에서 새로운 것을 빠르게 학습하고 학습한 내용이 새로운 시나리오에서 안정적이고 신뢰할 수 있도록 보장하는 능력입니다. 2. 고효율 학습자는 10시간 만에 운전을 배우고, 몇 달 만에 프로그래밍을 익혀 실제 업무에 투입될 수 있습니다. 이러한 수준의 효율성은 방대한 양의 데이터를 이용한 사전 학습으로는 달성할 수 없습니다. 인터뷰에서 "두 학생"이라는 비유는 매우 시사적입니다. 1만 시간 동안 연습한 학생은 상위 10%에서 상위 1%, 그리고 챔피언에 이르기까지 경쟁 성적을 꾸준히 향상시킬 수 있습니다. 이는 진정한 발전입니다. 하지만 그는 단 100시간의 연습만으로 "적성"을 보이는 학생이 될 수는 없습니다.