Andrej Karpathy(@karpathy)의 스레드

저는 "생각할 거리"라는 표현을 좋아하는데, 이는 인간이 경험하는 구체적이면서도 신비로운 인지 능력이지만, LLM에는 그에 상응하는 것이 없기 때문입니다. 정의: "생각해 볼 가치가 있거나 고려해 볼 만한 것, 마치 정신적인 양식처럼 아이디어, 통찰력 또는 더 깊이 성찰해야 할 문제들로 마음을 풍요롭게 하는 것을 의미합니다. 관점을 바꾸고, 새로운 이해를 제공하거나, 중요한 질문을 숙고하게 만드는 주제에 사용되며, 지적인 자극제 역할을 합니다." LLM 용어로 말하자면, 일련의 토큰들이 사고의 연쇄를 유도하는 자극제로 사용될 때, 어떤 아직 발견되지 않은 내재적 보상 기능을 통해 그 샘플들에 집중하는 것이 보상받는다는 것입니다. 그 형태가 무엇일지 정말 궁금합니다. 생각해 볼 만한 주제네요.