Fil de 宝玉 (@dotey)

Résister au piège mental des idées « époustouflantes » Un critère essentiel pour juger de la qualité d'une pensée ou d'une argumentation est ce que j'appelle la capacité à résister à la résistance à la « résistance intellectuelle excessive » (un mème souvent utilisé pour satiriser ces « personnes intelligentes » qui compliquent inutilement des problèmes simples ou qui élaborent des théories apparemment sophistiquées pour étayer des points de vue erronés) : est-il difficile d'en abuser ? Peut-on s'en servir pour « justifier » tout ce que l'on souhaite faire (pour d'autres raisons) ? Cet esprit est similaire au principe de falsifiabilité en science (une théorie doit pouvoir être réfutée pour être considérée comme scientifique) : si votre argument peut tout prouver, alors il ne peut rien prouver. Vous devriez vous arrêter à l'étape deux. Pour comprendre pourquoi il est important de « résister à son imagination débordante », le plus simple est d’observer ce qui se passe en son absence. Vous avez probablement déjà entendu de nombreuses affirmations similaires : Nous construisons un marché décentralisé entièrement nouveau qui révolutionnera la façon dont les clients interagissent avec leurs fournisseurs et permettra aux créateurs de transformer leurs audiences en États-nations numériques. Sur le plan politique, la situation peut être bien pire. Par exemple : Un certain groupe minoritaire est responsable d'une grande partie du désordre social actuel ; il a épuisé nos ressources. Si nous pouvions l'éradiquer complètement (j'entends « complètement », pour qu'il ne puisse jamais revenir), même si ce serait une action brutale et ponctuelle, si, à long terme, cela pouvait augmenter notre taux de croissance économique de 0,5 %, alors dans 500 ans, notre pays serait douze fois plus riche qu'il ne l'était alors. Il en résulterait d'innombrables vies plus heureuses et plus épanouissantes. Ce serait une grave injustice de laisser nos descendants vivre dans l'extrême pauvreté simplement parce que nous sommes lâches et que nous avons peur de payer ce prix unique aujourd'hui. Pour réfuter les arguments ci-dessus, une approche consiste à les traiter comme des problèmes de mathématiques en cours de philosophie : identifier les prémisses ou les étapes précises que l’on conteste, puis les réfuter. Cependant, une approche plus réaliste consiste à reconnaître que, dans la réalité, ces arguments relèvent presque toujours de la rationalisation plutôt que du raisonnement (c’est-à-dire qu’une conclusion est présentée d’abord, suivie du raisonnement qui la sous-tend). Ces personnes étaient déjà parvenues à une conclusion, probablement motivée par l'intérêt personnel ou l'émotion (comme le fait d'accaparer elles-mêmes le jeton, ou de haïr sincèrement ce groupe minoritaire), et elles ont ensuite inventé ces arguments complexes pour justifier leur position. Le but de ces arguments est : (i) de tromper la « pensée supérieure » ​​de l'orateur afin qu'elle cède à ses « instincts primitifs » ; et (ii) de tenter de renforcer leur mouvement en recrutant non seulement les personnes trompées, mais aussi celles qui se considèrent intelligentes (ou pire, les personnes véritablement intelligentes). Dans cet article, je soutiendrai que la difficulté à résister à la pensée imaginative est un phénomène répandu, aux conséquences variables, allant de bénignes à graves. J'exposerai également des schémas de pensée robustes qui permettent de contrer la pensée imaginative et j'en préconiserai l'utilisation. Ces schémas de pensée qui ont une faible capacité à « résister à la pensée créative » Inévitabilism Regardez ce tweet récent ; c'est un excellent exemple, illustrant parfaitement la rhétorique du « plaidoyer » en faveur de l'IA dans la Silicon Valley : « Le chômage de masse engendré par l'automatisation est inévitable. C'est une loi économique naturelle et incontournable. Notre entreprise (Mechanize Inc.) vise à accélérer ce processus et à assurer une transition en douceur, plutôt que de s'y opposer vainement. Rejoignez-nous pour bâtir l'avenir. » Voilà un exemple classique du sophisme de l'inévitabilité. Le message commence par une affirmation (peut-être raisonnable) : l'automatisation complète de l'économie finira inévitablement par arriver. Il en tire ensuite une conclusion hâtive : nous devrions activement accélérer ce jour (et le chômage qui en découlera). Pourquoi l'accélérer ? Eh bien, nous le savons tous : parce que ce tweet a été écrit par une entreprise, et que l'activité même de cette entreprise contribue activement à accélérer ce processus. Certes, le « fatalisme » est une erreur philosophique, et nous pouvons la réfuter philosophiquement. Si je devais la réfuter, je m'appuierais sur trois points : Le fatalisme présuppose l'existence d'un « marché infiniment fluide », où si vous ne prenez pas d'initiative, quelqu'un d'autre comblera immédiatement le vide. Cela peut être vrai dans certains secteurs. Mais l'IA est tout à fait différente : c'est un domaine où l'immense majorité des progrès est impulsée par une infime minorité d'individus et d'entreprises. Si l'un d'entre eux cesse ses activités, le rythme ralentira considérablement. Le fatalisme sous-estime le pouvoir de la décision collective. Lorsqu'un individu ou une entreprise prend une décision, il donne souvent l'exemple. Même si personne ne suit son exemple dans l'immédiat, cela peut semer les graines d'actions futures. S'opposer à quelque chose peut même rappeler que « prendre position avec courage » peut être efficace. Le fatalisme simplifie à l'excès les choix possibles. Mechanize pourrait poursuivre l'automatisation complète de l'économie. L'entreprise pourrait aussi cesser ses activités. Mais elle pourrait également se réorienter vers le développement de formes d'automatisation partielle, en renforçant les capacités de ceux qui sont encore impliqués dans les processus, en maximisant la période où la collaboration homme-machine surpasse l'intelligence artificielle pure, et en nous donnant ainsi plus de temps pour une transition en toute sécurité vers la superintelligence. Bien sûr, il existe d'autres options que je n'ai pas envisagées. Dans la réalité, cependant, le fatalisme ne peut être vaincu par la seule logique, car il n'en est pas le fruit. Dans notre société, il sert le plus souvent à justifier a posteriori des actes (généralement motivés par la soif de pouvoir ou d'argent). Comprendre ce fait est souvent la meilleure façon de le contrer : lorsque les autres cherchent le plus à vous faire croire que « tout est irréversible » et à vous persuader d'abandonner, c'est précisément à ce moment-là que vous avez le plus de poids. Le long-termisme Le « long-termisme » est une philosophie de vie qui met l'accent sur les enjeux importants à long terme. Aujourd'hui, beaucoup associent ce terme au long-termisme de l'« altruisme efficace », comme on peut le voir dans cette introduction sur le site de 80,000 Hours (un organisme de conseil en carrière lié à l'altruisme efficace) : Si l'on considère uniquement la population humaine potentielle future, ce chiffre est vertigineux. En supposant simplement 8 milliards d'individus par an pendant les 500 prochains millions d'années, notre population totale atteindrait environ 400 000 milliards… et une fois que nous ne serons plus confinés à la Terre, le potentiel démographique qui devrait nous préoccuper deviendra véritablement colossal. Mais le concept de « vision à long terme » est bien plus ancien. Depuis des siècles, conseillers financiers, économistes, philosophes, spécialistes du meilleur moment pour planter des arbres et bien d'autres appellent à faire des sacrifices aujourd'hui pour le bien commun des générations futures. Si j'hésite à critiquer le « long-termisme », c'est parce que, justement, l'avenir à long terme est primordial. On ne procéderait pas à une bifurcation dure d'une blockchain simplement parce qu'une personne s'est fait arnaquer, car même si cela peut présenter un avantage ponctuel, la réputation de la chaîne en serait durablement compromise. Comme l'explique Tyler Cowen dans *Stubborn Attachments*, la croissance économique est si importante car c'est l'un des rares éléments capables de se capitaliser indéfiniment sans disparaître ni s'enliser dans un cycle. Apprenez à vos enfants que les fruits de leur travail se feront sentir dans dix ans. Si vous ne prenez pas en compte le « long-termisme », vous ne construirez jamais de route. Les problèmes surviennent lorsqu'on ne valorise pas le long terme. Un problème majeur auquel je me suis personnellement opposé est la « dette technique » (les compromis que font les développeurs pour « prendre des raccourcis » qui entraînent un travail supplémentaire à l'avenir) : lorsque les développeurs de logiciels se concentrent uniquement sur des objectifs à court terme et manquent d'une vision cohérente à long terme, le résultat est un logiciel qui devient de plus en plus laid et inutilisable au fil du temps (voir : mes efforts pour simplifier Ethereum L1). Mais il y a un piège : l’argument du « long terme » est très vulnérable aux spéculations les plus folles. Après tout, le « long terme » est un concept abstrait ; on peut inventer toutes sortes d’histoires séduisantes, en prétendant que si l’on fait X, presque tout peut arriver de bien. Or, dans la réalité, l’observation du fonctionnement des marchés et de la politique nous révèle sans cesse les limites de cette approche. Sur le marché, la variable commune qui distingue ces deux modèles est le taux d'intérêt. Lorsque les taux d'intérêt sont élevés, seuls les projets susceptibles de générer des profits clairs à court terme méritent un investissement. Mais lorsque les taux d'intérêt sont bas – l'expression « environnement de taux d'intérêt bas » est désormais devenue un euphémisme –, elle décrit un scénario où un grand nombre de personnes créent et poursuivent des scénarios finalement irréalistes, ce qui conduit à des bulles spéculatives et à des krachs. En politique, on reproche souvent aux politiciens d'adopter une vision à court terme pour plaire aux électeurs, en dissimulant les problèmes jusqu'à ce qu'ils ressurgissent après les prochaines élections. Mais il existe un autre problème : le « pont vers nulle part » – un projet d'infrastructure lancé au nom de sa « valeur à long terme », mais dont la « valeur » ne se concrétise jamais. On peut citer comme exemples un « pont vers nulle part » en Lettonie, ou Dentacoin — une « solution blockchain pour l'industrie dentaire mondiale » — qui a un jour affiché une capitalisation boursière de plus de 1,8 milliard de dollars. Le problème fondamental, dans les deux cas, est que la réflexion sur le long terme peut mener à une déconnexion avec la réalité. Dans un contexte axé sur le court terme, même si l'on peut ignorer le long terme, il existe au moins un mécanisme de rétroaction : si une proposition met en avant des avantages à court terme, chacun peut vérifier si ces avantages se concrétisent rapidement. En revanche, dans un contexte axé sur le long terme, un argument sur les « avantages à long terme » n'a pas besoin d'être juste ; il suffit qu'il paraisse juste. Par conséquent, alors que chacun prétend « choisir des idées en fonction de valeurs à long terme », il s'agit en réalité de « choisir des idées en fonction de qui l'emporte dans un environnement social souvent conflictuel et très conflictuel ». Si l'on peut justifier n'importe quoi par une histoire de « vagues mais énormes conséquences positives à long terme », alors une telle histoire ne prouve rien. Comment profiter des avantages d'une vision à long terme sans se déconnecter de la réalité ? D'abord, je dirais que c'est extrêmement difficile. Mais au-delà de ça, je crois qu'il existe quelques règles de base. La plus simple : dispose-t-on d'un historique solide de ce que l'on entreprend au nom des « intérêts à long terme », prouvant ainsi que cela porte réellement ses fruits ? La croissance économique en est un exemple. La prévention de l'extinction des espèces aussi. Tenter d'établir un « gouvernement mondial unique » n'en est pas un ; en fait, comme beaucoup d'autres exemples, cette entreprise a un « historique solide » d'échecs répétés et de dommages considérables. Si l'action que vous envisagez présente des « bénéfices à long terme » hypothétiques mais des « dommages à long terme avérés », alors… n'y allez pas. Cette règle ne s'applique pas toujours, car nous vivons parfois des périodes véritablement sans précédent. Mais il est tout aussi important de se rappeler que l'expression même « nous vivons des périodes véritablement sans précédent » rend très difficile de résister aux idées les plus audacieuses. Utiliser « l'esthétique personnelle » comme une excuse bidon pour interdire des choses Je trouve les oursins répugnants. On mange les testicules d'un oursin ! Parfois, lors de repas omakase (cuisine japonaise sans menu), on me les sert carrément sous le nez. Malgré tout, je m'oppose à leur interdiction ; c'est une question de principe. Ce que je déteste par-dessus tout, c'est l'abus de pouvoir coercitif de l'État pour imposer ce qui n'est au final qu'une simple « préférence esthétique personnelle » à la vie privée de millions d'autres personnes. Avoir le sens esthétique est une chose, et prendre en compte l'esthétique lors de la conception d'espaces publics l'est tout autant. Mais imposer ses goûts à autrui est inacceptable : le prix à payer pour une telle imposition dépasse de loin les bénéfices psychologiques qu'elle procure, et si tout le monde voulait en faire autant, cela mènerait inévitablement à une hégémonie culturelle, voire à une « guerre politique de tous contre tous ». Il est facile de constater que les exemples de politiciens qui font pression pour des interdictions en se basant sur des prétextes fallacieux comme « Euh, je trouve ça dégoûtant » sont quasiment monnaie courante. Les mouvements anti-gays en sont une source abondante. Par exemple, Vitaly Mironov, député à la Douma de Saint-Pétersbourg : Les personnes LGBT (personnes gays, bisexuelles et transgenres) n'ont aucun droit. Dans notre pays, leurs droits ne figurent pas sur la liste des valeurs socialement importantes et protégées. Ces personnes, qualifiées de « perverses », possèdent tous les droits des citoyens de notre pays, mais elles ne sont pas incluses dans une quelconque liste prioritaire. Nous les retirerons définitivement de la liste des droits humains de notre pays. Vladimir Poutine lui-même a tenté de justifier l'invasion de l'Ukraine en déplorant le « satanisme » excessif des États-Unis. Un exemple plus récent, légèrement différent, est la campagne américaine visant à interdire la « viande synthétique ». La « viande cultivée » n'est pas de la viande… c'est un produit artificiel. La vraie viande est créée par Dieu lui-même… Si vous voulez vraiment goûter à cette « pâte protéinée azotée », allez en Californie. Mais beaucoup d'autres adoptent une approche plus « civilisée », tentant de dissimuler leur aversion derrière une excuse quelconque. On invoque souvent le « tissu moral de la société », la « stabilité sociale », et autres raisons similaires. Ces arguments servent également fréquemment à justifier la « censure ». Quel est le problème ? Je laisse Scott Alexander (un blogueur réputé qui écrit des articles approfondis sur des sujets tels que la rationalité et l’IA) répondre à cette question : Le « principe de préjudice souple » renvoie à l'idée que les gouvernements peuvent s'indigner des préjudices complexes et indirects – ceux qui « fragilisent le tissu moral de la société » – mais tolérer ce principe revient à raviver les guerres ancestrales de « domination d'autrui » que le « libéralisme » aurait dû empêcher. L'un affirme : « Le mariage homosexuel entraînera une plus grande acceptation de l'homosexualité, ce qui se traduira par une augmentation des maladies sexuellement transmissibles ! C'est un préjudice ! Il faut interdire le mariage homosexuel ! » Un autre déclare : « Autoriser les parents à scolariser leurs enfants dans des écoles privées pourrait inciter ces derniers à propager des sentiments anti-gays dans les écoles confessionnelles, les poussant ainsi à commettre des crimes haineux plus tard ! C'est un préjudice ! Il faut interdire les écoles privées ! » Et ainsi de suite, sans fin. L'existence d'une « structure morale sociale » est indéniable – il est évident que certaines sociétés sont plus morales que d'autres à bien des égards. Mais cette structure est aussi vague et mal définie, ce qui la rend extrêmement facile à détourner ; presque tout peut être qualifié de « violation de la structure morale sociale ». Il en va de même pour l'appel plus direct à la « sagesse de la répugnance », qui a été dévastateur pour le progrès scientifique et médical. Cela s'applique également aux discours émergents du type « Je n'aime pas ça, alors je l'interdis », dont un exemple courant est la lutte contre les « élites mondiales » et la défense de la « culture locale ». Examinons quelques-unes des déclarations faites par ces militants anti-viande synthétique (n'oubliez pas que ces personnes n'expliquent pas pourquoi elles ne consomment pas elles-mêmes de viande synthétique, mais pourquoi elles veulent forcer les autres à accepter leur choix) : > « L’élite mondiale » veut contrôler nos comportements et forcer les Américains à accepter un régime alimentaire composé de « viande de pétrat et de vers ». La Floride dit « non ». Je suis fier d'avoir signé la loi SB 1084, qui interdit l'importation de viande cultivée en laboratoire en Floride et privilégie la protection de nos agriculteurs et éleveurs, plutôt que les intérêts des élites et du Forum économique mondial. Certaines personnes apprécient peut-être de manger des insectes avec Bill Gates, mais pas moi. C'est une des principales raisons pour lesquelles je suis plutôt favorable au libertarianisme modéré (une philosophie politique qui met l'accent sur la liberté individuelle et un gouvernement limité). Je souhaite vivre dans une société où interdire quelque chose exige une justification claire du préjudice ou du risque qu'il représente pour une personne en particulier, et si cette justification est contestée avec succès devant les tribunaux, la loi devrait être abrogée. Cela réduit considérablement le risque que le gouvernement soit instrumentalisé par des groupes d'intérêts pour imposer des préférences culturelles à la vie privée d'autrui, ou pour mener une guerre de tous contre tous. Défendre la « finance inférieure » Dans le monde des cryptomonnaies, on entend souvent des arguments fallacieux pour tenter de vous convaincre d'investir dans des projets à haut risque. Parfois, ils paraissent « brillants », comme la façon dont un projet « bouleverse » (c'est-à-dire participe à) un secteur pesant mille milliards de dollars, ou à quel point tel projet est unique, faisant ce que personne d'autre n'a fait. D'autres fois, c'est simplement : « Le prix va monter grâce au soutien de célébrités. » Je n'ai rien contre le fait que les gens s'amusent, y compris en prenant des risques financiers. Ce qui me pose problème, c'est d'inciter les gens à investir la moitié de leur patrimoine dans un jeton dont « les influenceurs affirment qu'il va forcément prendre de la valeur », alors que le scénario le plus réaliste est que ce jeton ne vaudra plus rien deux ans plus tard. Mais ce qui me révolte encore plus, c'est l'argument selon lequel ces jeux de hasard spéculatifs seraient « moralement justifiés » car les plus démunis auraient besoin de ce genre de rendement rapide multiplié par dix pour avoir une chance équitable dans l'économie moderne. Comme cet argument : « Pour quelqu'un dont le patrimoine s'élève à 5 000 $, le conseil « allez-y doucement, investissez dans des fonds indiciels » est une véritable catastrophe. Ce dont cette personne a besoin, c'est d'une ascension sociale. Elle doit oser prendre des risques élevés, mais potentiellement très lucratifs. Les cryptomonnaies (memecoins) sont le seul moyen, à l'heure actuelle, de lui offrir cette opportunité. » C'est un argument fallacieux. Une façon de le réfuter consiste à déconstruire et à rejeter l'affirmation selon laquelle « il s'agit d'une forme significative ou bénéfique de mobilité sociale », comme n'importe quel autre argument. Le problème fondamental de cet argument est que les casinos fonctionnent comme un jeu à somme nulle. En clair, pour chaque personne qui s'élève socialement grâce à ce jeu, une autre s'en retire. Mais si l'on approfondit les mathématiques, la situation se complique encore. Un des premiers concepts abordés dans tout manuel d'économie du bien-être est que la fonction d'utilité d'une personne pour l'argent est concave (le texte original utilise par erreur le terme convexe, mais le schéma et le contexte indiquent clairement que l'auteur fait référence à une fonction concave, c'est-à-dire à une utilité marginale décroissante). Plus on est riche, moins chaque dollar supplémentaire procure d'utilité (de satisfaction). Remarquez que plus vous avez d'argent (axe horizontal), plus la pente de la courbe (la valeur de chaque dollar) est faible. Ce modèle aboutit à une conclusion importante : les jeux de hasard, en particulier les jeux à enjeux élevés, sont, en moyenne, « nuisibles ». La douleur de perdre 100 000 $ est plus grande que le plaisir d’en gagner 100 000 $. Si l’on considère un modèle où vous possédez actuellement 200 000 $, et où chaque doublement de votre patrimoine (soit une augmentation de 100 % ou une diminution de 50 %) vous fait monter ou descendre d’une classe sociale, alors si vous gagnez un pari de 100 000 $ (votre patrimoine passe à 300 000 $), vous progressez d’environ une demi-classe sociale ; mais si vous perdez le pari (votre patrimoine retombe à 100 000 $), vous régressez d’une classe sociale entière. Les modèles économiques élaborés par des chercheurs qui étudient véritablement la prise de décision humaine et cherchent à améliorer la vie des gens aboutissent presque toujours à cette conclusion. Alors, quel type de modèle économique pourrait aboutir à la conclusion inverse — qu'il faut tout miser pour obtenir un rendement multiplié par dix ? La réponse : des histoires inventées de toutes pièces par des personnes dont le but est de justifier les cryptomonnaies sur lesquelles elles spéculent. Mon but n'est pas de blâmer ceux qui sont véritablement pauvres et désespérés, cherchant une issue. Je vise plutôt à blâmer ceux qui sont financièrement aisés et qui, sous prétexte que « les pauvres et les désespérés ont vraiment besoin de cette aide décuplée », justifient leurs agissements consistant à « tendre des pièges pour les entraîner dans une situation encore plus précaire ». Cela explique en grande partie pourquoi j'encourage l'écosystème Ethereum à se concentrer sur la « DeFi à faible risque » (DeFi, finance décentralisée). Permettre aux populations du tiers monde d'échapper à l'effondrement politique de leurs monnaies et d'accéder à des taux d'intérêt (stables) dans les pays développés est remarquable ; cela peut miraculeusement contribuer à leur ascension sociale sans pour autant les précipiter dans la ruine. Récemment, on m'a demandé : pourquoi ne pas parler de « bonne DeFi » plutôt que de « DeFi à faible risque » ? Après tout, toute DeFi à haut risque n'est pas mauvaise, et toute DeFi à faible risque n'est pas bonne. Ma réponse est la suivante : si l'on se concentre sur la « bonne DeFi », il est facile de sortir des sentiers battus et de prétendre que n'importe quel type de DeFi est « bon ». Mais si l'on parle de « DeFi à faible risque », il s'agit d'une catégorie contraignante ; il est très difficile de sortir des sentiers battus et de qualifier de « faible risque » une activité qui ruine manifestement des gens du jour au lendemain. Je ne suis absolument pas opposé à l'existence de la DeFi à haut risque – après tout, j'apprécie les marchés de prédiction (plateformes où l'on parie sur l'issue d'événements futurs). Mais un écosystème plus sain serait celui où la DeFi à faible risque serait prédominante et la DeFi à haut risque un accompagnement – ​​quelque chose de ludique et d'expérimental, et non un moyen de risquer la moitié de ses économies. Dernière question : l’idée que « les marchés de prédiction ne sont pas de simples jeux de hasard ; ils profitent à la société en améliorant l’accès à une information précise » n’est-elle qu’une rationalisation a posteriori, fruit d’une imagination débordante ? Certains le pensent assurément. « Les marchés de prédiction ne sont rien de plus que de l'astrologie pratiquée par des hommes diplômés qui utilisent des termes comme « valeur cognitive » et « utilité sociale » pour masquer le fait qu'ils ne font que jouer. » Permettez-moi de me justifier. Si l'on considère cela comme une justification a posteriori, c'est parce que la tradition académique qui s'intéresse aux marchés de prédiction et tente de les concrétiser existe depuis trente ans – bien plus longtemps que la possibilité de s'enrichir grâce à eux (que ce soit en créant un projet ou en y participant). Cette tradition académique préexistante fait défaut aux memecoins, voire à des exemples encore plus marginaux comme les tokens personnels. Cependant, je le répète, les marchés de prédiction ne sont pas de la DeFi à faible risque ; ce sont des activités complémentaires, et non un moyen d'y investir la moitié de son patrimoine. maximisation de la puissance Au sein du cercle de l'« altruisme efficace » (AE) lié à l'IA, de nombreuses personnalités influentes vous diront sans ambages que leur stratégie consiste à accumuler un maximum de pouvoir. Leur objectif est d'occuper des positions avantageuses afin de pouvoir intervenir massivement, avec des ressources considérables, lors d'un « moment décisif », et « faire ce qu'il faut ». La « maximisation du pouvoir » est la stratégie ultime, celle qui vous épatera. L'argument « Donnez-moi du pouvoir pour que je puisse faire X » est tout aussi convaincant, quel que soit X. Avant ce « moment critique » (dans la théorie de l'apocalypse de l'IA, il s'agit du moment où nous atteignons l'utopie ou où l'humanité entière disparaît et se transforme en trombones), vos actions motivées par des raisons « altruistes » sont en tous points identiques à celles motivées par une « soif de pouvoir ». Par conséquent, quiconque cherche à atteindre ce dernier objectif peut vous affirmer, sans le moindre effort, qu'il aspire au premier et vous convaincre de sa bonté. D'un point de vue extérieur (une méthode de correction des biais cognitifs qui privilégie l'analyse de données statistiques issues de situations similaires plutôt que le recours à ses propres ressentis subjectifs), cet argument paraît absurde : chacun se croit plus moral que les autres, il est donc facile de comprendre que même si tous pensent que maximiser son pouvoir est avantageux, ce n'est en réalité pas le cas. Mais d'un point de vue intérieur, lorsqu'on observe le monde et la haine qui y règne sur les réseaux sociaux, la corruption politique, le piratage informatique et les agissements débridés d'autres entreprises d'IA, l'idée de « être du bon côté, ignorer ce monde extérieur corrompu et résoudre les problèmes par soi-même » semble séduisante. Et c'est précisément pourquoi adopter un point de vue extérieur est salutaire. Vous pouvez aussi adopter une perspective différente, plus humble, plus intérieure. Voici un argument intéressant tiré du forum « Altruisme efficace » : L'un des principaux avantages de l'investissement réside sans doute dans sa capacité à accroître de façon exponentielle les ressources financières qui pourront ensuite être utilisées à des fins philanthropiques. Depuis sa création en 1926, l'indice S&P 500 a réalisé un rendement annualisé, ajusté de l'inflation, d'environ 7 %. Le risque de « dérive de valeur » est plus difficile à estimer, mais il n'en demeure pas moins un facteur important. Par exemple, plusieurs sources indiquent que le taux annuel moyen de « dérive de valeur » au sein d'une communauté altruiste efficace est d'environ 10 %. Autrement dit, même si votre patrimoine peut effectivement croître de 7 % par an, les données empiriques suggèrent également que si vous croyez en une cause aujourd'hui, votre conviction pourrait diminuer d'environ 10 % demain. Ceci rejoint une observation de Tanner Greer : les intellectuels publics ont souvent une « durée de vie » d'environ 10 à 15 ans, après quoi leurs idées ne se distinguent plus du bruit de fond ambiant (quant à la signification du fait que j'ai commencé à publier mes écrits en 2011, je laisse au lecteur le soin d'en juger). Par conséquent, si vous accumulez des richesses dans le but d’« agir plus tard », votre futur vous pourrait très bien utiliser ces richesses supplémentaires pour faire des choses que vous-même, aujourd’hui, ne soutiendriez même pas. «Je peux faire plus en interne» Dans le domaine de la sécurité de l'IA, un problème récurrent mêle « maximisation du pouvoir » et « fatalisme » : la conviction que le meilleur moyen de faire progresser la sécurité de l'IA est de rejoindre des entreprises qui accélèrent la réalisation d'une IA super-intelligente et de tenter de les améliorer « de l'intérieur ». On entend souvent des justifications telles que : « Je suis très déçu par OpenAI. Ils ont besoin de plus d'employés soucieux de la sécurité comme moi. J'annonce que je les rejoins pour impulser le changement de l'intérieur. » D'un point de vue interne, cela semble raisonnable. Cependant, d'un point de vue externe, vous vous retrouvez essentiellement dans la situation suivante : Personnage A : « Cet endroit est terrible. » Personnage B : « Alors pourquoi n'es-tu pas encore parti ? » Personnage A : « Je dois rester et m'assurer que ça empire. » Un autre bon exemple de ce courant de pensée est le système politique de la Russie moderne. À ce propos, je citerai cet article du Financial Times : Le 24 février, trois jours après la reconnaissance par Poutine de l'existence des séparatistes du Donbass, il lança une offensive d'envergure contre l'Ukraine, dépassant leurs pires craintes. Comme le reste du monde, ils ne découvrirent les véritables intentions de Poutine qu'à travers la télévision. Son refus d'écouter les avertissements des technocrates leur porta un coup dur. Un ancien cadre qui avait rencontré Gref (PDG de Sberbank) au début du conflit déclara : « Je ne l'avais jamais vu comme ça. Il était complètement anéanti, sous le choc. […] Tout le monde pensait que c'était une catastrophe, et lui plus que quiconque. » […] Au sein du cercle restreint de l'élite politique russe, des technocrates comme Gref et Nabiullina (gouverneurs de la Banque centrale de Russie), autrefois considérés comme des forces modernistes et réformistes capables de contrebalancer les « siloviki » de Poutine (les hauts responsables de l'appareil sécuritaire intransigeant), reculèrent face à une occasion historique de défendre leurs convictions en faveur des marchés ouverts et de s'opposer publiquement à la guerre. D'après d'anciens responsables, ces technocrates, au lieu de rompre avec Poutine, ont consolidé leur rôle de « facilitateurs », utilisant leur expertise et leurs outils pour atténuer l'impact des sanctions occidentales et maintenir l'économie de guerre de la Russie. De même, le problème réside dans l'expression « je peux faire plus en interne », et la capacité à résister à la tentation de sortir des sentiers battus est incroyablement faible. Il est toujours facile de dire « je peux faire plus en interne », peu importe ce que l'on fait réellement. On finit donc par n'être qu'un simple rouage de la machine, jouant le même rôle que ceux qui travaillent dur pour subvenir aux besoins de leur famille dans des demeures luxueuses et des dîners raffinés au quotidien ; seules nos raisons paraissent plus convaincantes. Alors, comment éviter de « penser hors des sentiers battus » ? Vous pouvez faire beaucoup de choses différentes, mais je vais me concentrer sur deux : Respectez les principes Définissez clairement ce que vous « ne voulez pas faire » — ne pas tuer d'innocents, ne pas voler, ne pas tricher, respecter la liberté individuelle d'autrui — et fixez un seuil très élevé pour toute exception. Les philosophes appellent souvent cela une « éthique déontologique » (qui met l'accent sur les obligations et les règles plutôt que sur les conséquences). La déontologie en déconcerte plus d'un : naturellement, s'il existe une raison fondamentale à vos règles, ne devriez-vous pas la rechercher directement ? Si « ne pas voler » est une règle parce que le vol nuit généralement plus à la victime qu'il ne vous profite, alors vous devriez suivre la règle de « ne pas faire ce qui fait plus de mal que de bien ». Mais si parfois voler est « plus bénéfique que nuisible », alors volez ! Le problème de cette approche conséquentialiste (qui se concentre uniquement sur les résultats et non sur le processus) est son incapacité totale à résister aux raisonnements les plus extravagants. Notre cerveau excelle à inventer des raisons pour affirmer que « dans cette situation particulière, ce que vous avez longtemps souhaité faire (pour d'autres raisons) se trouve être d'un grand bénéfice pour l'humanité entière ». La déontologie, en revanche, dirait : Non, vous ne pouvez pas faire cela. Une forme de déontologie est l'utilitarisme des règles : les règles sont choisies en fonction de ce qui apporte le plus grand bénéfice, mais lorsqu'il s'agit de choisir des actions spécifiques, on suit simplement les règles que l'on a déjà choisies. « Saisir » le « fardeau » approprié. Un autre thème récurrent, évoqué plus haut, est que votre comportement est souvent déterminé par vos « incitations » – en langage crypto, les « actifs » que vous possédez (c’est-à-dire les actifs ou positions qui, à leur tour, influencent vos opinions et vos actions). Il est difficile de résister à cette pression. Le moyen le plus simple de l’éviter est de ne pas se fixer de mauvaises incitations. Il en découle qu'il faut éviter de s'accrocher à des habitudes sociales néfastes : les cercles sociaux auxquels on appartient. On ne peut prétendre s'en affranchir totalement – ​​cela irait à l'encontre de nos instincts humains les plus fondamentaux. Mais on peut au moins les diversifier. La première étape, et la plus simple, consiste à bien choisir son lieu de vie. Cela me rappelle ma suggestion personnelle concernant le sujet déjà surexploité de « comment contribuer à la sécurité de l'IA » : - Ne travaillez pas pour une entreprise qui accélère le développement de capacités d'« IA de pointe et entièrement autonome ». - Ne vivez pas dans la région de la baie de San Francisco