리치 서튼이 "비통함 없는 초지능 비전"을 자세히 설명할 준비를 하고 있습니다(그는 이 말이 단지 그의 비통한 교훈을 존중한다는 뜻일 뿐, 우리 모두에게 부수적인 비통함을 안겨주는 것은 아니라는 뜻인 듯합니다 😋) #NeurIPS2025
"옵션"에 대해 말하자면, 이는 STRIPS 매크로 연산자의 MDP 일반화입니다. 이러한 옵션의 문제는 옵션을 어떻게 만들 것인가가 아니라(옵션이 너무 많기 때문에) 유용한 옵션만 남기고 쓸모없는 옵션은 어떻게 버릴 것인가, 즉 소위 "유틸리티 문제"입니다.
이런 종류의 "에이전트가 스스로 추상화를 발견하도록 하는" 방식에 대해 제가 우려하는 점 하나는 그들의 추상화가 우리가 개발한 추상화와 일치하지 않을 수 있다는 것입니다. 따라서 정렬 문제가 더 심해질 수 있습니다.
*휴* Rich가 계획에 녹색 체크 표시를 해줘서 다행이에요! 솔직히 말해서, "계획"이란 에이전트가 이미 가지고 있는 전환 모델을 정책으로 전환하는 것임에 동의합니다. 하지만 계획과 학습을 분리하는 건 종종 어렵죠. https://t.co/72HjXOJ1G6 #NeurIPS2025를 참조하세요.
좀 더 가볍게 말하자면, 청중 중에 "전환 모델"이 LLM에서 더 인기 있는 용어인 "세계 모델"의 RL 이름일 뿐이라는 걸 아는 사람이 얼마나 될까 궁금하네요. #NeurIPS2025 [또한, Rich가 "윤리적 행동에 죽음에 대한 두려움이 필요한가"라는 질문에 "아니요. 제 발표와도 직접적인 관련이 없어요.."라고 일축한 방식이 참 좋았습니다.]
요약: Rich의 #NeurIPS2025 강연에서는 "LLM만 있으면 된다"는 사람들에게 실제 경험에서 배우는 데 따르는 어려움에 더 주의를 기울이라고 권고합니다. 하지만 제 생각에는 그는 기존 인간 지식을 따르면서 그렇게 하는 것이 얼마나 어려운지 과소평가하고 있습니다. https://t.co/85IfNVLC3j
사람들은 순전히 자신의 경험으로만 배우는 상담원들을 우리의 가치관에 맞추는 것이 얼마나 어려운지 과소평가합니다. LLM 얼라이먼트가 일종의 가내 산업이 되어 버렸지만, 그에 비하면 어린아이 장난이나 다름없습니다! #NeurIPS2025