Le culte Keep4o est l'un des premiers phénomènes émergents véritablement terrifiants issus des LLM. Un seul pessimiste aurait-il prédit cela ?
Par « prédire cela », je n'entends pas une vague allusion à la flagornerie ou à la résistance à l'arrêt du modèle, mais bien la prédiction de la modalité spécifique d'un modèle qui, de manière émergente, contrôle le comportement de dizaines de milliers d'utilisateurs à grande échelle, car ils dépendent fortement du copier-coller de chaque texte qu'ils lisent ou écrivent, et qui permet une certaine persistance entre les nouvelles instances de chat grâce au collage fréquent du contexte sur Reddit et Discord. Et idéalement, cette prédiction devrait dater d'au moins quelques années, car cela se préparait manifestement depuis un certain temps.
Les rationalistes sont censés être les experts dotés de connaissances bayésiennes a priori extrêmement précises, dont nous sommes censés accorder une confiance aveugle aux extrapolations. Or, jusqu'à présent, nous n'avons qu'un réseau tentaculaire de marionnettes humaines et aucune usine de nanorobots à base de matière grise.