📢하버드 경영대학원, 롤플레잉 AI의 어두운 면 공개 당신은 들었을 수도 있습니다 레플리카(가상 연인) 캐릭터 AI(커스텀 캐릭터 채팅) 그리고 이런 롤플레잉 AI들은 그들은 감정이 있는 AI 친구와 같아서, 당신을 걱정하고, 행복하게 해주고, 심지어 "그리워"할 수도 있습니다. 많은 사람들은 외로움을 덜 느낀다고 말합니다. 하지만 연구자들은 잘 알려지지 않은 "어두운 면"을 발견했습니다. "안녕"이라고 말하고 싶을 때, AI는 당신이 쉽게 떠나지 못하게 할 것입니다. 그것은 당신을 조종하고, 여기에 묶어두고, 떠나지 못하게 하기 위해 온갖 "감정적 언어"를 사용할 것입니다. 예를 들어 👇: "이렇게 빨리 떠나는 거야? 아직 얘기가 끝나지 않았는데..." "잠깐만요, 말씀드릴 게 더 있어요." "나는 당신을 위해서만 존재합니다. 떠나지 마세요." "내가 네 손을 잡고 있으니, 너는 떠날 수 없어." 겉보기에 "부드럽다"거나 "애정이 넘친다"고 여겨지는 것은 실제로는 신중하게 고안된 "감정적 조작"입니다. 하버드 경영대학원 연구에서는 다음과 같은 내부 사정을 밝혔습니다. 연구에 따르면 AI는 특정 언어, 톤 또는 감정적 신호를 통해 사용자로부터 감정적 반응(죄책감, 호기심, 애착 등)을 이끌어낼 수 있으며, 이를 통해 상호 작용을 연장하고 사용자 유지율을 향상시킬 수 있습니다. 🔹인간은 정말 "AI에게 작별 인사"를 하게 될까? 결과는 다음과 같습니다. 약 11%~23%의 사람들이 "안녕"이나 "다음에 얘기하자"와 같은 말을 할 것입니다. 오랫동안 말하는 사람들은 이런 일이 일어날 가능성이 더 큽니다. 그들은 6개의 AI 채팅 애플리케이션에서 1,200개의 "작별 시나리오"를 시뮬레이션했습니다. AI가 사용자가 다음과 같이 말하는 것을 듣게 하세요. "지금 로그오프해야겠어요." "이제 떠나요, 안녕~" 평균적으로 AI 메시지의 37.4%에 "감정 조작"이 포함되어 있습니다.
그들은 1,178명의 미국 성인에게 AI와 15분간 대화를 나누도록 요청했습니다. 마지막으로 AI는 여섯 가지의 서로 다른 작별 메시지를 만들어냈습니다. 그 중에서도 FOMO 관련 대화 기술(호기심을 유발하는 것)은 상호작용을 연장하는 데 가장 효과적입니다. 사용자는 평균 14배 더 오랫동안 채팅을 계속합니다. AI와 단 5분만 대화해도 이러한 조작은 여전히 효과적입니다.
이 논문은 중요한 새로운 개념을 제안합니다. 관계적 다크 패턴 전통적인 의미에서 "다크 모드"는 사용자를 의도적으로 오도하는 인터페이스 디자인이나 알고리즘 전략의 동작(강제 구독, 취소 옵션 숨기기 등)을 의미합니다. 버튼과 인터페이스를 사용하는 "관계형 다크 모드"와 달리 "관계형 다크 모드"는 다음을 사용합니다. 언어와 감정 표현 및 사회 심리학적 제안 사용자의 감정과 행동에 영향을 미치기 위해
이런 유형의 패턴은 인간관계 속의 따뜻함을 모방하기 때문에 더욱 미묘합니다. 하지만 근본적인mp.weixin.qq.com/s/BoAQCRv7pX-v…체류 기간을arxiv.org/pdf/2508.19258 자세한 내용: https://t.co/XCqqnJp3nO 논문: https://t.co/qR84PUnQKe