向阳乔木(@vista8)의 스레드

다람쥐에서 인간까지: AI에 동물의 학습을 이해하는 것이 중요한 이유는 무엇일까? 강화 학습의 창시자인 리처드 서튼은 다음과 같이 믿습니다. 다람쥐가 어떻게 학습하는지 정말로 이해할 수 있다면, 우리는 인간의 지능을 이해하는 데 한 걸음 더 다가갈 수 있을 것입니다. 이 관점의 핵심은 매우 간단합니다. 인간은 무엇보다도 동물이라는 것입니다. 서튼은 언어 능력이 단지 "표면의 작은 장식"일 뿐이라고 믿었습니다. 인간이 달에 착륙하여 반도체를 만들었다고 주장할 수도 있겠지만, 이는 근본적인 차이가 아닌가요? 서튼은 다른 관점을 가지고 있었습니다. 그는 지능의 초석, 즉 인간과 동물이 공유하는 근본적인 메커니즘에 초점을 맞췄습니다. 다람쥐는 매일 무엇을 하나요? 견과류를 찾고, 포식자를 피하고, 음식을 숨긴 곳을 기억하세요. 이처럼 간단해 보이는 행동은 복잡한 학습 시스템에 의해 뒷받침됩니다. 음식이 어디에 있는지 예측하고, 시행착오를 거쳐 가장 좋은 경로를 학습하고, 보상(견과류 찾기)과 처벌(위험에 직면)에 따라 전략을 끊임없이 조정해야 합니다. 이것이 강화 학습의 본질입니다. 더욱이, 지도학습은 자연에는 존재하지 않습니다. 지도 학습이란 무엇인가요? 기본적으로 여러분에게 "정답"을 많이 주고 그것을 따르게 하는 것입니다. 하지만 다람쥐가 학습할 때는 아무도 작은 칠판을 들고 "이런 식으로 뛰는 게 옳고, 저런 식으로 뛰는 게 그르다"고 말해주지 않습니다. 계속해서 시도했고, 몇 번 넘어진 후에야 천천히 나뭇가지 사이를 뛰어넘는 기술을 익혔습니다. 아기에게도 마찬가지입니다. 아기를 관찰하면, 아기가 끊임없이 뭔가를 시도하는 것을 볼 수 있습니다. 팔을 흔들고, 다리를 차고, 입에 물건을 넣는 거죠. 아무도 그들에게 "표준 절차"를 보여주지 않습니다. 그들은 단지 세상을 탐험하고 자신의 행동에 따른 결과를 관찰할 뿐입니다. 서튼은 이러한 목표 기반, 경험 기반 학습 접근 방식이 지능의 핵심이라고 믿습니다. 현재 널리 사용되는 대규모 언어 모델은 본질적으로 지도 학습의 결과물입니다. 이 모델은 동물처럼 세상을 적극적으로 탐구하는 것이 아니라, 인간이 이미 작성한 문자를 기반으로 학습합니다. 모방은 기초가 아니다 논쟁의 핵심은 이렇습니다. 인간은 모방에 매우 능숙하지 않은가요? 아이들은 어른을 모방하면서 말하는 법과 다양한 기술을 익히지 않나요? 서튼은 모방의 존재를 부정하지 않지만, 모방이 기초가 아니라 시행착오의 더 근본적인 과정을 기반으로 구축된다고 믿습니다. 모방을 할 때에도 먼저 '모방하는 법'을 배워야 합니다. 아기들은 처음에는 모방하는 법조차 모릅니다. 그저 여러가지를 시도하고 자신의 행동의 결과가 어떻게 될지 예측할 뿐입니다. 이러한 기본적인 학습 메커니즘을 통해 스스로를 모방하는 능력도 발달합니다. 학교 교육은 어떻습니까? 서튼은 이것이 자연에서 흔히 볼 수 있는 현상이 아니라 인간에게만 나타나는 예외적인 사례라고 믿었습니다. 대부분의 동물은 평생 교실에 앉아 선생님의 강의를 들어본 적이 없지만, 그래도 복잡한 생존 기술을 배울 수 있습니다. 대부분의 포유류는 새로운 환경에 직면했을 때 지속적으로 학습하고 전략을 조정할 수 있습니다. 하지만 현재의 AI 시스템은 한 번 훈련되면 고정되기 때문에 지속적으로 새로운 것을 학습하는 것이 어렵습니다. 반대로, AI는 고도의 수학 문제를 풀고 코드를 작성할 수 있는데, 이는 거의 어떤 동물도 할 수 없는 일입니다. 이게 무슨 뜻일까요? 우리가 길을 잃었을지도 모른다는 뜻입니다. 우리는 인간이 잘하는 일을 하는 AI를 추구하지만, 동물은 할 수 있지만 AI는 할 수 없는 기본적인 능력을 간과했습니다. 서튼의 견해에 따르면, 우리가 정말로 일반적인 지능을 원한다면, 먼저 동물이 어떻게 학습하는지 이해해야 합니다. 그는 또한 더 큰 관점을 제시했습니다. 인간과 동물은 모두 복제자입니다. 무슨 뜻일까요? 우리는 유전자 복제를 통해 세대를 거쳐 유전자를 전달한다는 뜻입니다. 우리는 매우 똑똑하지만, 우리의 지능이 어떻게 작용하는지 잘 이해하지 못합니다. 뇌가 자전거 타는 법을 어떻게 배우는지 설명해 주시겠습니까? AI의 등장은 우리가 디자인 시대로 접어들었음을 의미합니다. 이러한 에이전트는 우리가 (이론적으로) 신경망의 각 계층이 무엇을 하는지 알 수 있도록 설계되었습니다. 미래에는 이러한 AI가 새로운 AI를 설계할 수 있게 될 것입니다. 하지만 서튼은 우리가 디자인하기 전에 먼저 자연이 이미 "디자인"한 지능, 즉 동물의 학습 메커니즘을 이해해야 한다고 상기시킵니다. 아마도 진정한 혁신은 AI가 더 나은 시를 쓸 수 있게 하는 데 있지 않을 것이다. 요점은 다람쥐처럼 낯선 환경을 적극적으로 탐험하고, 지속적으로 학습하고, 변화에 유연하게 대응할 수 있도록 만드는 것입니다. 결국, 동물들은 수억 년 동안 지능을 진화시켜 왔습니다. 우리는 이제 막 시작일 뿐입니다. --- AI가 생성한 요약을 수동으로 포맷했습니다.