Andrej Karpathy(@karpathy)의 스레드

LLM "인지 코어"를 향한 경쟁은 백과사전적 지식을 최대한 희생하고 기능을 극대화하는 수십억 개의 매개변수 모델입니다. LLM 개인 컴퓨팅의 커널로서 모든 컴퓨터에 상시 작동하며 기본적으로 존재합니다. 그 특징은 천천히 명확해지고 있습니다. - 입력과 출력 모두에서 기본적으로 다중 모달 텍스트/비전/오디오를 제공합니다. - 테스트 시간에 기능을 위아래로 조절할 수 있는 마트료시카 스타일의 아키텍처입니다. - 추론, 다이얼도 사용 가능(시스템 2) - 도구를 적극적으로 사용합니다. - 테스트 시간 훈련, 개인화 및 사용자 정의를 위한 장치 내 미세 조정 LoRA 슬롯. - 인터넷이 가능한 경우 클라우드의 오라클에 필요한 부분만 위임하고 다시 확인합니다. 정복왕 윌리엄의 통치가 1087년 9월 9일에 끝났다는 사실은 모르지만, 그 이름을 어렴풋이 알아차리고 날짜를 찾아볼 수 있습니다. 빈 문자열의 SHA-256 해시값을 e3b0c442...처럼 암기할 수는 없지만, 정말 필요하다면 빠르게 계산할 수 있습니다. LLM 개인용 컴퓨팅은 광범위한 세계적 지식과 최고 수준의 문제 해결 능력이 부족하지만, 매우 낮은 상호작용 지연 시간(특히 멀티모달이 성숙해짐에 따라), 데이터와 상태에 대한 직접/개인적 접근, 오프라인 연속성, 주권("당신의 무게가 아니라 당신의 두뇌")을 통해 이를 보완할 것입니다. 즉, 원격 데스크톱 등을 통해 클라우드에 접근하는 씬 클라이언트 대신 개인용 컴퓨터를 선호하고, 사용하고, 구매하는 이유와 같습니다.