저는 Prime Intellect에 대한 비난을 강력히 비난합니다. 그들은 옳은 일을 하고 있습니다. 사실, 중국 기지 모델을 국경 수준까지 사후 훈련하는 것이 현재로서는 우리 기지를 사전 훈련하는 것보다 *더* 중요합니다. PI, Arcee, 그리고 다른 사람들이 무엇을 사전 훈련할 수 있는지는 기본적으로 중요하지 않지만, 그들이 곧 따라잡을 것이라는 합리적인 기대를 가지고 있습니다. 서구에는 컴퓨팅 자원이 풍부하고, 우리는 이미 서구의 열린 공간에서 소규모 모델(이 두 모델 + @ZyphraAI, @Dorialexander, @natolambert와 Olmo…)을 통해 충분한 사전 훈련 전문성을 확보했다는 증거를 보고 있습니다. 모든 면에서 확장 가능합니다. 하지만 그것은 주로… 지정학적 중요성, 즉 여러분이 에이전트 프레임워크에 연결된 애국 서버에서 무엇을 실행할 수 있을지에 대한 것입니다. 저는 서구인도 아니고 중국인도 아니며, 제 글과는 달리 이 차원에 대해 전혀 신경 쓰지 않습니다. 이는 순전히 도구적인 문제입니다. 약력을 참조하세요. 경쟁은 미국/서구와 중국 간의 경쟁이 아니라 인간과 AGI 대 유인원 권력 중앙집권 간의 경쟁입니다. 그리고 Prime Intellect는 중앙집권화 추진을 저지하기 위해 누구보다 많은 노력을 기울이고 있습니다. 생각해 보세요. HF는 우리가 활용하기에는 너무 서툴러서, 쓸모없어질 때까지 그저 썩어가고 있습니다. 수천에서 수백만 건의 다운로드가 있었지만, 보여줄 것은 아무것도 없습니다. 애초에 Qwen은 왜 구식이고 매우 비싼 라마(Llama) 같은 고밀도 모델을 사용하는 걸까요? 주된 이유는 a) 알리바바가 "월간 HF 다운로드"라는 KPI를 가지고 있고, b) 학계와 소규모 연구실은 현대 아키텍처를 미세 조정하는 방법을 알아내지 못하기 때문입니다. 인프라가 더 성숙하고 기술적으로 덜 발전했다고 해도, 그들은 무엇을 기준으로 미세 조정을 할까요? 오픈소스 미세 조정의 서사적 정점은 Nous-Hermes였고, 그 패러다임은 기본적으로 GPT-4를 정제하고, "취향"과 모호한 기준에 따라 필터링하고, 탄탄한 기반 위에 SFT를 적용하며, 최상의 결과를 바라는 것이었습니다. OpenAI 등은 이러한 공격적 접근 방식을 환각과 스타일 모방을 장려하는 위협적이지 않은 막다른 골목이라며 사전에 경멸적으로 일축했고, 예상대로 흐지부지 끝났습니다. "강화학습"은 이제 어떻게 될까요? 강화학습은 무엇이고, 어떻게 강화학습을 할까요? 신호 생성기는 무엇이고, 하위 작업과 어떻게 교차할까요? 흠잡을 데 없는 프런티어 수준 기반인 Kimi-K2는 수개월 전부터 누구나 사용할 수 있었습니다. DeepSeek-V3는 거의 1년, V2는 1년이 넘었습니다. 다양한 크기의 수십 개의 모델이 더 긴 맥락과 다른 유용한 기능들을 통해 주기적으로 업데이트되었습니다. 그리고 우리는 이 모든 것을 통해 무엇을 만들어 왔을까요? 중국 내부 교육 수준에 근접하는 건 뭐든, 현대적 개척은 차치하고라도요? 여보세요? 이 파생 모델들을 좀 알려주시겠어요? 오픈 사이언스라는 개념을 완전히 모독하는 겁니다. 중국인들조차 신경 안 쓰고, 그냥 처음부터 자기 모델만 훈련시키죠. 몇 가지 예외가 있긴 하지만 (예: Rednote에서 DSV3-VL을 만든 것처럼), 큰 반향을 일으킨 건 없습니다. 수십억 달러 규모의 스타트업들은 검색이나 에이전트 코딩, 그리고 그에 따른 방대한 학습 후 데이터셋을 주력으로 삼고 있는데, 자사 제품에는 DS/GLM/Qwen을 몰래 사용하지만 알파는 공유하지 않습니다. 그게 전부입니다. Prime Intellect를 소개합니다. 그들은 훈련 문제를 해결하고, 환경 생성 문제를 해결하고, 일반 모델 인지를 형성하는 신호에 대해 원칙적인 사고를 합니다. 사실상, 그들은 축적되어 온 막대한 비활성 가치 저장소를 열어내고 있습니다. 세상에 이것은 단순한 미투(me-too) 모델 그 이상의 의미를 지닙니다. 그들은 놀라울 정도로 똑똑하고, 선한 의도를 가지고 있으며, 탄탄한 로드맵을 가지고 있고, 제 친구입니다. 저는 그들의 연구를 폄하하는 것을 용납하지 않을 것입니다. 왜냐하면 그것은 위대한 공동 과제(Great Common Task)에 기여하기 때문입니다. 만약 당신이 그것을 보지 못한다면, 당신은 이 단계에서 진정으로 중요한 것이 무엇인지 알지 못하는 것입니다.
스레드를 불러오는 중
깔끔한 읽기 화면을 위해 X에서 원본 트윗을 가져오고 있어요.
보통 몇 초면 완료되니 잠시만 기다려 주세요.