농담은 제쳐두고, 진지하게 받아들이겠습니다. 사람들은 초소형 아키텍처를 연구한 적이 없고, 이를 바탕으로 극단적인 MoE와 불분명한 속성을 가진 다른 여러 이국적인 형태를 만들어낼 수 있었습니다. 인지 핵심을 위한 기술 트리 중 하나죠.
이것이 어떻게 적용될지는 잘 모르겠지만, 토큰화 없는 학습을 위한 모션도 가능할 것 같습니다. 조정 가능한 차원의 벡터 표현이 고정된 토큰 표현보다 훨씬 더 바람직할 것입니다.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.