Alexander Doria(@Dorialexander)의 스레드

또한 이는 최근 학습 중간 단계에서 모델을 적응시키는 추세를 따르는 것으로, 아키텍처 혁신 비용을 크게 줄여줍니다(기본적으로 LM 물리학의 "제어된 실험"과 유사). 앞으로 훨씬 더 다양한 설계 방식을 볼 수 있을 것입니다.