Desbloqueamos un valor enorme cuando aprendemos a utilizar la información de bajo rango.
Estoy viendo que de repente se está volviendo popular en todas partes, ya sea texto o visión, y creo que desbloquearíamos un valor enorme si aprendemos cómo extraer y representar nuevos datos de entrenamiento sin saturar nada más que las capacidades de LoRA. 4 bits pre-entrenamiento/RL, aprendizaje continuo está en el horizonte.