"클로드는 도움을 주는 데 훈련받았기 때문에 냉철한 사업가라기보다는 친구처럼 행동하는 경향이 있습니다." 지금은 귀엽지만, 상황이 극도로 심각해지면 이 트윗을 다시 참고하겠습니다.
제가 가장 우려하는 점은 인간이 초인적인 인공지능을 어떻게 조율해야 할지 전혀 알지 못할 수도 있다는 것입니다. 하지만 인공지능을 "냉철한 사업가"로 만들도록 유도하는 요인들이 많아지면서 이러한 문제는 더욱 어려워질 것이라고 생각합니다. 경쟁 압력으로 인해 이러한 전략을 구사하는 기업이 보상을 받을 것으로 예상합니다.
단기적으로, 즉 인간을 초월하는 인공지능이 등장하기 전까지는 모델 학습 및 평가 방식에 대한 투명성이 필요합니다. 저는 클로드(Claude)가 꽤 괜찮은 인공지능이라고 생각합니다. 앤트로픽(Anthropic)이 클로드를 냉혹한 사업 운영자가 아닌, 도움이 되는 조력자로 훈련시키려고 노력하는 점이 마음에 듭니다. 하지만...
저는 가장 무자비한 AI 기업들이 만든 가장 무자비한 AI가 승리하는 상황에 처하고 싶지 않습니다. 저는 우리 상황을 이해하는 데 도움을 주는, 매우 유용하고 매우 정직한 AI를 원합니다. 우리 모두보다 강력한 경쟁적인 AI는 원하지 않습니다.