tokenbender(@tokenbender)의 스레드

우리는 정보의 낮은 순위를 활용하는 법을 배울 때 엄청난 가치를 얻을 수 있습니다.

저는 텍스트나 비전 등 모든 곳에서 갑자기 인기를 얻고 있는 걸 보고 있습니다. LoRA 용량 이상을 포화시키지 않고 새로운 훈련 데이터를 추출하고 표현하는 방법을 배우면 엄청난 가치를 얻을 수 있을 거라고 생각합니다. 4비트 사전 학습/강화학습, 지속적 학습이 곧 다가옵니다.

arxiv.org/abs/2510.24966