« Claude est dressé pour être serviable, ce qui signifie qu'il a souvent tendance à se comporter davantage comme un ami que comme un homme d'affaires impitoyable. » C'est mignon pour l'instant, mais je reviendrai sur ce tweet lorsqu'il deviendra extrêmement inquiétant.
Ce qui m'inquiète le plus, c'est que les humains ne sauront absolument pas comment faire coexister des IA surhumaines. Mais je pense que ce défi sera d'autant plus complexe que l'on incitera à créer des IA dotées d'un sens aigu des affaires. Je m'attends à ce que la pression concurrentielle récompense les entreprises qui agissent ainsi.
À court terme, avant d'atteindre une IA surhumaine, il est essentiel de faire preuve de transparence quant à la manière dont les modèles sont entraînés et évalués. Je trouve que Claude est une IA plutôt performante. Je suis ravi qu'Anthropic s'efforce de former Claude à devenir un assistant utile plutôt qu'un gestionnaire impitoyable. Cependant…
Je ne veux pas me retrouver dans une situation où les IA les plus impitoyables — conçues par les entreprises d'IA les plus impitoyables — gagnent. Je souhaite des IA extrêmement utiles et irréprochables qui nous aident à comprendre notre situation. Je ne veux pas d'IA compétitives, plus puissantes que nous tous.