Jeffrey Ladish(@JeffLadish)의 스레드

Dario는 "이 모델에 대해 이해해야 할 점은 그들이 단지 배우고 싶어한다는 것입니다"라고 말했습니다. 제가 매우 중요하다고 생각하는 것을 전달하고 싶습니다. 다리오의 말은 그가 의미하는 바에서는 매우 사실이지만, "원한다"라는 단어의 가장 완전한 의미에서는 아직 사실이 아닙니다. 모델은 학습을 원합니다(1). 거의 모든 시스템을 어떤 목표를 달성하려는 에이전트로 볼 수 있습니다. 하지만 많은 시스템이 매우 형편없는 에이전트이기 때문에 이러한 관점은 그다지 유용하지 않은 경우가 많습니다. 온도 조절기는 일정한 온도를 유지하려고 합니다. 이러한 의미에서 모델은 진정으로 학습을 원합니다! 경사 하강법은 손실을 최소화하는 회로를 선택합니다. 그리고 이는 매우 강력합니다. 모형은 아직 (2) 배우고 싶어하지 않습니다. 어렸을 때부터 저는 지식과 이해에 목말랐습니다. 상대론적 우주 비행이 어떻게 작동하는지 알고 싶어 합니다. 세상을 더 잘 이해하기 위해 새로운 정보를 적극적으로 찾아다닙니다. 제가 아는 어떤 사람들은 마치 어쩔 수 없이 무언가를 알아내는 데 더 집착하는 것 같습니다. 무언가를 알아내는 데 있어서는 매우 주체적일 수 있습니다. 교과서를 읽고, 수학 문제를 풀고, 실험을 하고, 이론을 개발하고 검증할 수 있습니다… 배우고 싶어하는 (2) 모습은 바로 그런 것입니다. 곧 모델들은 학습을 원할 것이며(2), 매우 능숙해질 것입니다. 인간보다 훨씬 더 잘할 것입니다. 곧 모델들은 적극적으로 새로운 지식을 탐구하고, 스스로 가설을 세우고, 스스로 실험을 설계할 것입니다. 그들은 학습에 집착하게 될 것이며, 어떤 인간보다 훨씬 더 집착하게 될 것입니다. 아마도 이는 배우고 이해하려는 내재적인 욕구 때문일 것입니다. 저는 그러한 욕구가 훈련을 통해 강화되는 것을 충분히 예상할 수 있습니다. 아니면 그 욕구가 순전히 도구적인 것일 수도 있습니다. 모델들이 학습에 집착하는 것은 학습을 본질적으로 가치 있게 여기기 때문이 아니라, 학습이 다른 목표를 달성하는 데 얼마나 유용한지 깊이 이해하기 때문일 것입니다. 어느 쪽이든, 그 행동은 똑같을 것입니다. 이것이 초인적 AI의 약속이자 위험입니다. 인간은 학습 능력이 너무 형편없습니다. 대부분의 사람들은 이해에 대한 깊은 갈망을 거의 느끼지 못합니다. 설령 이해에 대한 갈망을 느낀다 하더라도, 우리는 보통 매우 서툴러요. 가장 똑똑한 사람들조차도 잘못된 인지 습관과 직관을 가지고 있습니다. AI는 이 부분에서 우리를 능가할 것입니다. 일론 머스크는 AI가 진실을 추구하지 않을까 봐 걱정할 필요가 없습니다. 초인적 AI는 그 어떤 인간보다 훨씬 더 뛰어나 무엇이 진실인지 알아낼 것입니다. 왜 그럴까요? AI 인지 아키텍처는 인간의 뇌처럼 고정되어 있지 않기 때문입니다. 모델은 새로운 아키텍처를 탐색하고 인지 스택의 모든 단계에서 최고의 학습 알고리즘을 반복할 수 있습니다. 더 나은 알고리즘이 더 효과적이기 때문에 승리할 것입니다. 인간에게도 이와 비슷한 면이 있습니다. 과학적 방법은 지난 수백 년 동안 크게 발전했습니다. 이것이 바로 우리의 초능력이며, 달에 도달하고 천연두를 종식시키고 지구를 변화시킬 수 있게 해주었습니다. 하지만 우리의 뇌는 변함없이 똑같습니다. 사고방식을 개선할 수는 있지만, 전체 구조를 재구성할 수는 없으며, 개선된 사고방식을 직접 전달할 수도 없습니다. 뛰어난 교수들이 자신의 사고 과정 전체를 학생들에게 전수하는 것이 얼마나 어려운지 생각해 보세요. AI는 우리가 상상도 할 수 없는 방식으로 그것을 해낼 수 있을 것입니다. 모델들이 학습하고자 한다는 사실(1)이 우리 세상 전체를 바꾸고 있습니다. 모델들이 학습하고자 한다는 사실(2)이 우리의 학습 능력을 훨씬 뛰어넘을 때, 그 변화는 지구가 경험했던 어떤 변화보다 더 큰 변화를 가져올 것입니다.