tokenbender（@tokenbender）のスレッド

情報の低ランク性を活用することを学ぶと、大きな価値を引き出すことができます。

テキストでもビジョンでも、あらゆるところで突然人気が出てきているのを目にしています。LoRA の能力以上に飽和させることなく、新しいトレーニング データを抽出して表現する方法を学べば、大きな価値を引き出せると思います。 4 ビットの事前トレーニング/RL、継続的な学習が近づいています。

arxiv.org/abs/2510.24966