Le retour du discours vers des échéances courtes semblait incroyablement prévisible. D'un côté, j'apprécie Dwarkesh et ses invités et je trouve qu'ils soulèvent des points importants. Mais je perçois aussi une immense soif de trouver une raison de croire que le monde ne va pas changer.
On voit notamment des gens énumérer 101 problèmes liés à la mise à l'échelle du RL, mais ils ne font preuve d'aucune imagination suffisante pour trouver des solutions. Il est important de rappeler que toutes ces entreprises spécialisées dans les environnements d'apprentissage par renforcement ont moins de six mois. Nous n'en sommes qu'aux prémices.
La progression, de l'édition de fichiers individuels/saisie semi-automatique l'an dernier à la même époque à environ 30 minutes de développement logiciel autonome avec Codex aujourd'hui, est tout simplement remarquable. Année après année, parier contre l'apprentissage profond reste une très mauvaise idée.