Yangyi(@Yangyixxxx)의 스레드

저녁 식사 중에 친구가 AI 제품 개발에서 가장 어려운 단계가 무엇이라고 생각하는지 물었습니다. 곰곰이 생각해 보니 가장 어려운 단계는 피드백 및 평가 메커니즘을 설계하는 것이었습니다. 먼저, 합과 차이를 정의해야 합니다. 즉, 보상 함수를 찾는 것입니다. 하지만 이 단계는 많은 제품에서 어려울 수 있습니다. 많은 경우, 좋고 나쁨을 구분할 수 있는 정량적 지표를 구축하는 것이 어렵기 때문입니다. 피드백 지표는 일반적으로 명시적 피드백과 암묵적 피드백의 두 가지 범주로 나뉩니다. 명시적 피드백에는 답변, 좋아요, 싫어요와 같은 것이 포함되고, 암묵적 피드백에는 정규화된 사용자 행동 분석(클릭, 체류 시간 등)과 같은 것이 포함됩니다. 그러나 명시적 피드백의 어려움은 그것이 긍정적이기보다는 부정적인 제약이 된다는 사실에 있습니다. 예를 들어, 사용자가 이 제품이 훌륭하다고 말하도록 장려할 수는 없습니다. 사용자가 "좋은" 피드백을 주더라도... 긍정적인 효과는 별로 없습니다. 사람들이 "나쁜" 피드백을 줄 때, 그들은 피드백이 개선으로 이어질 것이라는 기대를 품고 있습니다. 하지만 좋은 피드백은 그들에게 개인적으로 도움이 되지 않습니다. 오히려 시스템에 위안과 격려를 줄 뿐입니다. 이는 문제를 야기합니다. 제품의 초기 성공은 피드백보다는 전문가의 경험에 달려 있습니다. 제품이 60점 정도에 도달한 후에야 비로소 명확한 긍정적 피드백을 수집할 기회를 점차 얻게 됩니다. 대부분의 AI 제품은 초기 단계에서는 AI 자체보다는 어느 정도 인간의 개입에 의존합니다. 하지만 인간조차도 "좋은 것"이 무엇인지 정확하게 설명할 수는 없습니다. "좋은 것"을 측정하고 이를 여러 개의 직교하는 요소 차원으로 분해한 후, 이러한 차원을 기반으로 평가하고 개선하는 것은 상대적으로 어려운 작업입니다. 이것이 잘 이루어진다면 AI 제품의 발전은 훨씬 더 순조로워질 것입니다.