저는 Karpathy의 "인지 핵심" 이론(https://t.co/1RtvrEGIXd)이 최대 형태로 참인 세상에 살고 있다면(즉, 인지 핵심 LLM이 x.com/karpathy/statu…h P.와의 인터뷰에서 그가 설명한 대로),
그렇다면 AI 시장에서의 가치 확보는 근본적으로 달라질 수 있습니다. 즉, 대기업만이 개발할 수 있는 거대한 "프런티어" 모델에서는 가치가 훨씬 떨어질 수 있습니다. 반면, "인지 코어"의 고성능 사용을 위해서는 접근이 필요합니다.
고품질 데이터, 어댑터, 플러그인 등 만약 이러한 것들이 "좋은 AI"와 "나쁜 AI"를 구분하는 기준이라면, 우리는 모든 경제적 행동이 거기서 일어날 것으로 예상해야 합니다. 그리고 이는 소규모 전문 기업에 대한 여지를 열어줍니다.
그리고 이는 '정보 금융' [분산화] 생태계의 성장으로 이어질 수 있으며, 이는 시장 참여자들이 더 높은 품질의 데이터와 구성 요소를 제공하도록 유도할 것입니다.
최근 '카트리지'라는 개념을 소개한 논문(https://t.co/KE0lGXeia5)은 '인지 핵arxiv.org/abs/2506.06266이디어를 제공할 수 있습니다. 카트리지는 문서 집합에 대한 "자체 연구"를 통해 학습된 KV 접두사입니다.
'인지 핵심'이 최소한의 사실만 알고 있다면, 맥락에 많은 정보를 포함해야 하며, 각 질문에 대한 원시 문서를 훑어보는 것보다 미리 계산된 사고가 담긴 카트리지를 사용하는 것이 훨씬 더 효율적일 것입니다.
게다가, 이전의 "접두사 튜닝" 논문에서는 KV-접두사가 미세 튜닝과 동일한 효과를 가질 수 있음을 보여주었고, 따라서 카트리지에 스킬, 텍스트 스타일 등도 포함할 수 있습니다. 그리고 LoRA 어댑터와 달리 이들은 구성 가능합니다.