오늘 "인공지능과 자동화의 아이러니"라는 제목의 기사를 읽었는데, 그 내용이 현재 인공지능의 발전 상황과 매우 밀접한 관련이 있었습니다. 1983년, 인지심리학자 리산느 베인브리지는 "자동화의 아이러니"라는 제목의 논문을 발표했습니다. 40여 년이 지난 지금, 그 논문에서 예측했던 문제들이 인공지능 에이전트의 경우에서 단어 하나 틀리지 않고 그대로 현실화되고 있습니다. 당시 그녀는 공장 자동화, 즉 기계가 일을 하고 인간은 감독하는 방식에 대해 연구하고 있었습니다. 오늘날 우리는 AI 에이전트 자동화라는 상황에 직면해 있습니다. AI가 작업을 수행하고 인간은 감독만 하는 시대입니다. 시나리오는 바뀌었지만, 근본적인 논리는 완전히 동일합니다. 그리고 그녀가 논문에서 지적했던 문제들이 다시 발생하고 있습니다. 논문에서 언급된 문제점들은 무엇이었나요? 1. 기술 퇴화의 딜레마: 기술은 사용하지 않으면 퇴화하고, 전문가가 관리자가 되면 기술이 오히려 줄어든다. "쓰지 않으면 잃는다"는 개념은 누구나 알고 있습니다. 하지만 인공지능 시대에는 이 개념이 더욱 가혹하게 적용됩니다. 이전에는 특정 분야의 전문가로서 매일 손쉽게 업무를 처리했습니다. 하지만 이제 회사는 "AI 에이전트에게 맡기세요. 당신은 그저 모니터링하고 문제가 발생할 때만 개입하면 됩니다."라고 말합니다. 멋지지 않나요? 직원에서 관리자로 승진하는 게 훨씬 쉬울 것 같지 않나요? 문제는 이겁니다. 만약 이 연습을 멈춘다면, 당신의 실력은 향상되지 않을 뿐만 아니라 오히려 퇴보할 수도 있습니다. 매일 AI를 이용해 코드를 작성하는 사람으로서, 지난 2년 동안 별다른 진전을 이루지 못했고 AI에 의존하게 되었다는 것을 느낍니다. 예전에는 손쉽게 작성할 수 있었던 많은 코드들이 이제는 AI 없이는 불가능해졌습니다. 정말 "쓰지 않으면 잃는다"는 말이 딱 들어맞는 경우입니다. OpenAI와 Anthropic은 모두 자사의 코딩 에이전트의 강력한 성능을 강조하며, 직원들은 AI의 출력 결과를 검증하기만 하면 된다고 주장합니다. 그러나 이들은 의도적으로 이러한 직원들이 AI의 정확도를 판단할 풍부한 경험을 가진 고도로 숙련된 전문가들이라는 사실을 언급하지 않습니다. 만약 이들이 향후 몇 년 동안 AI의 결과물을 검증하는 데만 집중한다면, 그들의 기술은 점차 퇴보할 것입니다. 우리 같은 기성 프로그래머들은 괜찮지만, 다음 세대는 훨씬 더 심각한 상황에 처해 있습니다. 오늘날의 베테랑 프로그래머들은 적어도 실무 경험을 통해 성장해 왔습니다. 그렇다면 미래의 프로그래머들은 어떨까요? 그들은 인공지능이 처음 등장했을 때부터 지켜봐 왔지만, 직접적인 작업을 해본 경험은 많지 않습니다. 필요한 기술도 부족하고, 배울 기회도 부족합니다. 그렇다면 그들은 인공지능의 정확성을 어떻게 판단할 수 있을까요? 논문의 원문은 다음과 같습니다. 현행 자동화 시스템은 이전 세대 운영자들의 기술에 의존하고 있습니다. 하지만 차세대 운영자들은 이러한 기술을 보유하지 못할 가능성이 높습니다. 이 문제는 지금 당장은 눈에 띄지 않을 수 있지만, 3~5년 후에는 분명해질 수 있습니다. 2. 기억 인출의 어려움: 자주 사용하지 않는 지식을 인출하는 속도가 느립니다. 또 다른 문제는 관련 기술에 대한 기억력 또한 저하될 수 있다는 점입니다. 고등학교 때 외웠던 공식들을 떠올려 보세요. 지금 몇 개나 기억나시나요? 인공지능이 주도하는 시나리오에서는 인공지능의 성능이 향상될수록 대부분 정확한 결과를 도출해냅니다. 즉, 대부분의 경우 여러분의 지식이 필요하지 않게 된다는 뜻입니다. 지식 활용도가 점점 낮아짐에 따라 관련 기억도 퇴화하게 될 것입니다. 3. 실천의 역설: 이론 교육은 무용지물이다. 오직 실제 경험을 통해서만 배울 수 있다. 하지만 인공지능이 작업을 대신하고 있어 인간은 실습할 기회가 부족하다. 이쯤 되면 여러분은 이런 생각을 할지도 모릅니다. "이 교육이 유용할까?" 하지만 "자동화의 아이러니"라는 논문은 교육이 그다지 유용하지 않다고 결론짓습니다. 전문적인 기술은 강의를 통해 습득되는 것이 아니라 실제 경험을 통해 연마되는 것입니다. 강의실에서 배우는 이론은 실질적인 실습 없이는 이해하기 어렵고, 그에 상응하는 경험적 틀이 부족합니다. 처음에는 이해하더라도 실제 업무와 연결된 기억 인출 경로가 없기 때문에 금방 잊어버리게 됩니다. AI를 감독하는 능력을 유지하려면 정기적으로 직접 작업을 수행해야 합니다. 하지만 회사의 목표가 효율성 향상을 위해 AI를 자동화하는 것이라면, 직원들이 연습할 기회는 많지 않을 것입니다. 이는 악순환입니다. 논문에 명시된 바와 같이: 우리는 운영자들이 지시를 따르도록 훈련시킨 다음, 그들을 시스템에 투입하여 지능적인 정보를 제공할 것을 기대합니다. 평소에 생각하거나 연습할 필요가 없는 인간에게 결정적인 순간에 좋은 해결책을 생각해낼 거라고 기대할 수는 없다. 4. 모니터링 피로도: 인간은 "실수가 거의 없는" 시스템을 장기간 지속적으로 감시할 수 없습니다. 심리학 연구에 따르면 인간은 문제가 거의 발생하지 않는 대상을 향해 장시간 경계를 유지할 수 없으며, 그 한계는 30분 정도입니다. 이는 의지력의 문제가 아니라 생리적 구조에 의해 결정되는 것입니다. 진화론적 관점에서 보면, 이는 실제로 생존에 유리한 점입니다. 한 지점을 응시하고 있는데 아무 일도 일어나지 않으면 뇌는 자동으로 경계심을 낮추어 실제 위협에 대처하기 위해 주의력을 아끼기 때문입니다. 하지만 감시 상황에서는 이것이 문제가 됩니다. AI 에이전트는 대부분 정확하지만, 가끔 실수를 저지르기도 합니다. 바로 이 실수 패턴을 감시하는 것이 가장 어렵습니다. 만약 AI 에이전트가 자주 실수를 한다면, 사람은 경계심을 갖게 됩니다. 실수를 전혀 하지 않는다면 감시할 필요가 없습니다. 하지만 실수를 거의 하지 않는 상황은 인간의 주의력이 미치지 못하는 사각지대에 놓이게 됩니다. 더욱 심각한 것은 AI 에이전트가 특히 미묘한 방식으로 실수를 저지른다는 점입니다. "확실하지 않습니다"라고 말하는 대신, 수십 줄, 심지어 수백 줄에 걸쳐 매우 확신에 찬 어조로 자신의 계획을 설명합니다. 오류는 87번째 줄의 사소한 전제, 예를 들어 "2가 3보다 크기 때문에 우리는 ~해야 합니다…"와 같은 부분에 숨겨져 있을 수 있습니다. 겉보기에 올바른 내용으로 가득 차 있고, 그 확신에 찬 어조에 무감각해져서 오류를 알아차리기 어렵습니다. 자동 경보 시스템을 추가하는 건 어떠세요? 논문에서는 다음과 같이 지적합니다. 누가 경보 시스템을 모니터링합니까? 경보 시스템 자체에 오작동이 발생하더라도, 오랫동안 정상적으로 작동해 왔기 때문에 운영자는 이를 알아차리지 못할 것입니다. 누군가 메모를 한다면 어떻게 될까요? 이 논문은 사람들이 숫자의 실제 의미에 전혀 주의를 기울이지 않고 기계적으로 숫자를 베껴 쓸 수 있다고 주장합니다. 감시 피로를 해소하려는 모든 시도는 동일한 문제에 부딪힙니다. 인간의 주의력은 장기간에 걸쳐 문제를 거의 일으키지 않는 대상에 집중될 수 없기 때문입니다. 이는 소프트웨어 문제가 아니라 하드웨어의 한계입니다. 5. 지위 문제: 전문가에서 관리자로 강등되면서 심리적 충격과 사회적 지위 하락을 겪었다. 당신은 예전에는 전문가였습니다. 동료들은 어떤 문제든 당신에게 도움을 요청했고, 당신은 존경받았으며, 직업적 정체성도 확고했습니다. 하지만 이제 당신은 AI의 문지기가 되었습니다. 기술을 잃는 것도 문제지만, 심리적 영향은 또 다른 문제입니다. 전문가에서 관리자로, 창작자에서 검토자로, 필수적인 존재에서 예비 인력으로 강등되는 것과 같은 변화는 많은 사람들에게 받아들이기 어려운 일입니다. 논문에서는 이런 식으로 강등된 사람들이 다양하고 복잡한 대처 메커니즘을 보이며, 그중 일부는 서로 모순되는 것처럼 보인다고 언급합니다. 이 부분은 너무 길어서 자세히 설명하기 어려우니, 관심 있는 분들은 원문을 참조하시기 바랍니다. 6. 부실한 사용자 인터페이스: 현재 AI 에이전트 인터페이스는 최악의 모니터링 디자인을 보여줍니다. 산업 자동화 분야는 수십 년 동안 제어실 설계 최적화에 매진해 왔습니다. 작업자가 이상 징후를 신속하게 감지할 수 있도록 디스플레이를 배치하는 방법, 비상 정지 버튼이 빨간색인 이유, 크기가 큰 이유, 그리고 그 위치에 배치된 이유까지, 모든 세부 사항은 사고로부터 얻은 교훈의 결과입니다. 이제 AI 에이전트의 인터페이스를 살펴보겠습니다. 길고 자신감 넘치는 글들이 잔뜩 있고, 단계별 계획이 연이어 제시되며, 수십 줄, 심지어 수백 줄에 달하는 장황한 설명들이 이어집니다. 그 모든 글 속에서 숨겨진 오류를 찾아야 합니다. 이것은 아마도 인류가 설계한 최악의 이상 탐지 인터페이스일 것입니다. 7. 훈련의 역설: 자동화 시스템이 성공적일수록 인간을 훈련시키는 데 더 많은 투자가 필요하다. 본 논문은 자동화로 인해 발생하는 교육 문제를 논의합니다. 작업자가 주기적으로 직접 작업을 인계받을 수 없는 경우 시뮬레이터 교육이 필요합니다. 그러나 시뮬레이터에는 근본적인 문제가 있습니다. 바로 예측 가능한 고장만 시뮬레이션할 수 있다는 점입니다. 알 수 없는 고장은 시뮬레이션할 수 없으며, 알려져 있지만 경험해 보지 못한 고장 또한 정확하게 시뮬레이션하기 어렵습니다. 그렇다면 우리는 어떻게 해야 할까요? 훈련은 일반적인 전략만 다룰 수 있을 뿐, 구체적인 대처 방법은 다룰 수 없습니다. 하지만 이로 인해 새로운 문제가 발생합니다. 운영 매뉴얼이 모든 상황을 다룰 수는 없으므로, 운영자들이 매뉴얼만 참고하여 이상 상황을 처리할 것이라고 기대할 수는 없습니다. 자동화 시스템이 성공적일수록 인간의 개입은 줄어들지만, 인력 교육에 필요한 투자 규모는 더욱 커집니다. 개입이 적을수록 개인의 기술이 더 빨리 저하되고, 드문 이상 현상에 대처하는 능력이 약해지며, 훈련 세션당 비용이 더 많이 들기 때문입니다. 의사결정권자들은 AI를 통해 비용을 절감하고 싶어하지만, 절감되는 인적 자원 비용만큼의 교육 비용을 감수해야 할 수도 있습니다. 8. 리더십의 딜레마: AI를 감독한다는 것은 단순히 수동적으로 지켜보는 것이 아니라 적극적으로 "이끌어가는" 것을 의미합니다. AI 에이전트를 감독한다는 것은 단순히 수동적으로 지켜보는 것이 아니라, 능동적으로 지시하는 것을 의미합니다. 무엇을 해야 하고, 무엇을 하지 말아야 하며, 몇 단계를 거쳐야 하고, 방향을 어떻게 조정해야 하는지를 알려주는 것입니다. 이것은 실제로 리더십 기술입니다. 관리자들이 링크드인에서 AI 에이전트를 가장 열렬히 칭찬하는 이유는 무엇일까요? 그들은 목표 설정, 업무 할당, 피드백 제공, 방향 조정 등 간접적인 방식으로 일하는 데 익숙하기 때문입니다. 즉, 실제 업무는 직접 수행하지 않고 AI 에이전트를 지휘하는 것이 부하 직원을 지휘하는 것과 다를 바 없다고 생각하는 것입니다. 하지만 늘 직접 일을 해왔던 사람들에게는 이것이 엄청난 역할 전환입니다. 일을 직접 하던 사람에서 다른 사람이 일을 하도록 맡기는 사람으로 바뀌어야 하는 것이죠. 단순히 몇 가지 지침을 바꾸는 것만으로는 해결될 문제가 아닙니다. 필요한 기술을 완전히 새롭게 재정비해야 하는 것입니다. 이 회사는 새로 승진한 관리자들을 위한 리더십 교육을 제공합니다. 하지만 인공지능 관리자들을 위한 리더십 교육을 제공하는 회사를 본 적이 있을까요? 40년 전 논문의 결론은 다음과 같았습니다. 인간은 시간적 압박이 없을 때 놀라운 문제 해결 능력을 발휘할 수 있습니다. 하지만 시간적 압박이 가해지면 효율성이 급격히 떨어지는 것이 어려움의 원인입니다. 이 논문을 통해 두 가지를 명확히 하고자 합니다. 첫째, 자동화가 반드시 어려움을 없애는 것은 아니라는 역설적인 사실입니다. 둘째, 이러한 문제를 해결하는 데 필요한 기술적 창의성은 자동화 자체보다 더 클 수 있다는 점입니다. 40년이 지난 지금, 우리는 다른 환경에 있지만 똑같은 문제에 직면해 있습니다. AI 에이전트는 발전하고 있지만, 인간의 인지 구조는 변하지 않았습니다. 모니터링 피로는 여전히 30분밖에 지속되지 않고, 기술 저하는 사용과 미사용에 따라 발생하며, 주의력 사각지대도 여전히 존재합니다. 이러한 것들은 하드웨어적 한계이지 소프트웨어 업데이트로 해결할 수 있는 문제가 아닙니다. 추천 도서: "자동화의 아이러니": https://t.co/5HWoelLIkR "인공지능과 자동화의 아이러니 - 1부" https://t.co/u27fpcCOWk "인공지능과 자동화의 아이러니 - 2부"
