Nous libérons une valeur énorme lorsque nous apprenons à exploiter le faible niveau de l'information.
Je constate que sa popularité croît soudainement partout, que ce soit pour du texte ou de la vision, et je pense que nous pourrions dégager une valeur énorme si nous apprenions à extraire et à représenter de nouvelles données d'entraînement sans saturer plus que les capacités de LoRA. Pré-entraînement 4 bits/RL, l'apprentissage continu est en préparation.