Lettre ouverte à Steven Pinker sur l’IA
Scott Alexander réfute méthodiquement les arguments de Steven Pinker contre les inquiétudes liées aux risques de l’IA et revient sur quinze années de propos dans lesquels, selon lui, Pinker a déformé les positions de la communauté de la sûreté de l’IA et argumenté de mauvaise foi.
Cher Steven :
Plus tôt dans le mois, exaspéré par certaines de vos publications sur les réseaux sociaux, je vous ai proposé un débat public sur l’IA.
Je n’avais pas compris qu’une proposition de débat attire les nouveaux médias comme un appât attire les requins. Ma boîte de réception a été submergée de messages de podcasteurs, de clubs de débat et d’influenceurs en tout genre, qui proposaient tous d’organiser la rencontre. Quand j’ai fait remarquer qu’il faudrait peut-être attendre que vous acceptiez avant de régler les détails, ils ont tous répondu que oui, bien sûr, j’avais tout à fait raison, ils allaient vous contacter sur-le-champ. Leurs équipes prendraient contact avec les vôtres. Leur neveu connaissait la baby-sitter d’un de vos amis et ils étaient sûrs de pouvoir vous transmettre le message. Ils avaient déjà loué un terrain vague près de chez vous, où ils installeraient un haut-parleur hurlant « RÉPONDEZ À LA PROPOSITION DE DÉBAT DE SCOTT ALEXANDER ! » à plein volume, jour et nuit. J’ai protesté en disant qu’une simple question posée directement sur Twitter suffirait probablement à attirer votre attention et qu’il vaudrait peut-être mieux vous laisser le temps de vous décider avant d’insister davantage, mais ils m’ont répondu que non, désolés, ils avaient déjà engagé l’équipe d’Inception pour glisser dans vos rêves de subtils messages sur le débat.
Je m’en veux donc un peu de vous avoir importuné sans le vouloir, et deux fois plus encore après que vous m’avez répondu, avec la mesure et la bienveillance qui vous caractérisent, dans An Open Letter To Scott Alexander. Vous écrivez que les débats en face à face favorisent la confrontation plutôt que la recherche de la vérité. Tout en présentant vos excuses pour les offenses involontaires que vos publications sur les réseaux sociaux ont pu causer, vous rejetez néanmoins mes accusations d’attaques personnelles, affirmant que votre principale contribution à la discussion consiste en des arguments raisonnables expliquant pourquoi l’IA n’est peut-être pas si dangereuse que cela (arguments que vous énumérez ensuite). Vous m’invitez à y répondre dans le même esprit d’échange intellectuel respectueux que celui dans lequel vous les présentez.
Je suis d’accord : les débats en personne poussent à la confrontation et nuisent à la recherche de la vérité. Mais je n’ai pas proposé un débat pour rechercher la vérité. Je l’ai proposé parce que l’article 415(1) du Code pénal californien m’interdit de vous provoquer en duel. Je trouve que ce que vous avez écrit publiquement sur ce sujet est déshonorant. Par devoir, je répondrai aux arguments de fond que vous m’avez présentés. Mais ce qui me procurerait une satisfaction viscérale, ce serait de vous faire monter sur scène, de vous lire vos propres mots, là, devant vous, et de demander après chaque phrase : « Vraiment ? Vraiment ? » Je pourrais alors vous regarder vous tortiller en essayant de concilier vos propos avec votre statut de l’un des intellectuels les plus en vue dans le débat public américain.
Je commencerai donc par répondre aux arguments de fond, puis je mettrai directement votre honneur en cause, et nous déciderons ensuite s’il faut débattre, nous battre en duel ou chercher une forme de synthèse entre nos points de vue divergents.
Quatre arguments contre la superintelligence
Reprenons dans l’ordre les quatre arguments de votre lettre ouverte :
1 : [Les scénarios des doomers reposent sur] une conception insuffisamment élaborée de l’intelligence, envisagée comme une quantité de puissance que l’on pourrait extrapoler des animaux aux humains peu intelligents, puis aux humains intelligents, à l’IA et enfin à la superintelligence artificielle, cette dernière étant parfaitement omnisciente. (C’était le sujet de mon échange ultérieur avec Scott Aaronson.) J’ai soutenu que tout système intelligent est un mécanisme apte à résoudre certains problèmes, mais pas d’autres, et intrinsèquement limité par les connaissances sur le monde qu’on ne peut acquérir que par l’observation et l’expérimentation.
GPT-6 est plus intelligent que GPT-3. Vous pouvez couper les cheveux en quatre, trouver un sens obscur dans lequel ce mot n’est pas tout à fait juste, mais, selon le bon sens, c’est vrai. De la même manière, GPT-9 sera plus intelligent que GPT-6. À un moment donné, cette intelligence dépassera l’intelligence humaine. Mon argument n’exige rien de plus compliqué ni de plus discutable sur le plan philosophique.
J’ai l’impression que nous avons déjà eu cette discussion. À chaque génération de GPT, vous sembliez juger invraisemblable que l’IA puisse devenir plus intelligente qu’elle ne l’était déjà. Il faut vous reconnaître le mérite d’avoir commencé tôt : vous faisiez cette prédiction dès 2019, à l’époque de GPT-2 :
En 2022, nous avons participé à un vaste débat à plusieurs voix avec Scott Aaronson et Gary Marcus. Marcus avait remarqué que GPT-2 et GPT-3 ne savaient pas résoudre des problèmes de mathématiques élémentaires, comme « Je pose deux trophées sur une table, puis j’en ajoute un autre : il y a maintenant ______ trophées au total ? » J’ai soutenu qu’à mesure que l’IA gagnerait en puissance, GPT-4, GPT-5 et leurs successeurs éviteraient ces échecs et deviendraient plus intelligents. Vous, fidèle à votre idée que l’intelligence n’était pas une grille de lecture pertinente pour envisager le problème, avez parié que non :
Bien sûr, GPT-4 savait parfaitement additionner 2 + 1, GPT-5 pouvait résoudre des problèmes encore plus difficiles, et un modèle interne d’OpenAI, d’un niveau à peine supérieur à celui de GPT-6, a récemment résolu Navier-Stokes.
En 2023, vous avez persisté de plus belle, soulignant que les IA de l’époque ne parvenaient toujours pas à comprendre qu’une personne vivante le matin et le soir l’était aussi l’après-midi, et déclarant : « Je doute que cela progresse de façon exponentielle » :

Je pense qu’à ce stade, nous devrions reconnaître que l’hypothèse par défaut est que chaque génération de GPT sera meilleure que la précédente et que — même si cette progression finira sans doute par atteindre une asymptote — nous n’avons aucun argument convaincant pour situer cette asymptote à un point précis, que ce soit « ici même » ou « juste avant que l’IA atteigne le niveau humain ».
Faut-il pour cela faire de l’intelligence une sorte de fluide mystérieux bien défini ? Vous avez expliqué avec talent que cette idée, si absurde qu’elle puisse paraître, se vérifie chez les humains : plus précisément, toutes les aptitudes intellectuelles sont corrélées selon une structure mystérieuse appelée g, sur laquelle reposent les tests de QI. Mais peut-être n’est-ce qu’une particularité humaine, qu’on ne peut pas étendre à d’autres esprits ?
Les deux choses préférées des psychologues, ce sont les rats et les tests de QI ; ils n’ont donc évidemment pas manqué de faire passer des tests de QI à des rats. Ils ont constaté que toutes les capacités cognitives des rats sont, elles aussi, liées par une structure semblable à g. Reader, Hager et Laland ont mené ces travaux chez les primates, MacLean et al. ont étendu une démarche similaire aux oiseaux, et des travaux plus récents comparent toutes les espèces animales entre elles. Toutes ces études ont confirmé ce que suggère le bon sens : il existe un facteur général de capacités cognitives commun aux espèces animales (autrement dit, les chimpanzés sont bel et bien plus intelligents que les souris ou les fourmis), qui pourrait même se réduire à une simple fonction du nombre de neurones.
Cela se tient peut-être en biologie, mais pas en intelligence artificielle ? Si : quand on compare les IA de différentes générations (par exemple GPT-2 et GPT-6), on constate que celles qui traduisent le mieux les langues sont aussi celles qui écrivent le mieux des sonnets et font les meilleures superprévisions sur les événements politiques, souvent sans entraînement particulier visant à leur donner ces compétences supplémentaires. Et les IA les plus douées dans tous ces domaines sont aussi celles dont les compétences plus difficiles à cerner sont les plus développées, comme la conscience de la situation, la capacité d’agir de façon autonome, les fonctions exécutives et la capacité à se projeter loin dans le temps. Si vous avez besoin d’une étude pour démontrer cette évidence, Ruan, Maddison et Hashimoto constatent qu’un seul facteur (l’intelligence générale) explique environ 80 % des écarts entre les scores obtenus par les IA dans les différents tests de référence, de la grammaire aux connaissances générales en passant par le génie logiciel. Epoch s’est inspiré d’une approche de ce genre pour créer son célèbre indice de capacités d’Epoch, une sorte de score de QI pour les IA qui correspond étroitement à l’impression subjective que les gens ont de leurs capacités. Voici un graphique montrant l’évolution de cet indice au fil du temps :
À mes yeux, l’explication la plus parcimonieuse est que l’intelligence des IA dépend des lois d’échelle (nombre de paramètres et données d’entraînement), à peu près comme l’intelligence des animaux dépend du nombre de neurones. Si nous comprenions vraiment ce domaine, nous pourrions peut-être formuler une seule loi d’échelle reliant les neurones animaux aux neurones artificiels qui — à un facteur près pour l’entraînement ou l’expérience — expliquerait l’intelligence des deux types d’entités. C’est du moins ce que j’ai dit à Gary Marcus en 2022, et cette idée a assez bien prédit ce qui s’est passé depuis.
Mais je n’ai pas besoin que vous adhériez à mon programme de recherche philosophique spéculatif : il suffit que vous admettiez l’évidence criante que GPT-6 est meilleur que GPT-2 à tous les égards, et que le même processus qui a produit ces progrès servira bientôt à produire GPT-7, GPT-8 et GPT-9. Une fois cet argument empirique accepté, que reste-t-il de l’argument philosophique selon lequel la notion d’intelligence est trop insaisissable et propice aux amalgames pour être utile ?
(Le caractère « en dents de scie » des capacités de l’IA ne signifie-t-il pas que, même lorsque les IA seront meilleures que les humains dans bien des domaines, elles resteront moins bonnes dans d’autres ? Si, il y aura une phase où ce sera vrai ; en fait, nous y sommes déjà. Mais si l’IA continue de progresser après être entrée dans cette phase, nous devrions nous attendre à ce qu’elle finisse par surpasser les humains même dans les domaines où elle est relativement mauvaise, et ce au sens absolu.)
En 2017, Garfinkel et ses collègues ont publié On The Impossibility Of Super-Sized Machines, un article qui conteste l’idée que les machines puissent un jour devenir plus grandes que les humains. Après tout, cela revient à considérer la taille comme une quantité unique que l’on pourrait extrapoler des microbes aux humains de petite taille, puis aux humains de grande taille, aux éléphants et enfin à quelque être magique hypothétique qui occuperait l’univers entier. Or, tout objet est grand sous certains aspects et petit sous d’autres. Certaines personnes, par exemple, sont grandes et minces, d’autres petites et grosses. Hors de l’espèce humaine, les corrélations s’affaiblissent encore. Un serpent peut mesurer plusieurs dizaines de pieds de long tout en ne faisant que quelques pouces de haut ; une bulle peut avoir une grande surface tout en ne contenant qu’une fraction de centimètre cube de matière ; un trou noir peut être « supermassif » tout en se réduisant à un point infiniment petit. Il manque donc de finesse philosophique de se demander si les machines peuvent être « plus grandes » ou « plus petites » que les humains ; nous devrions plutôt parler des dimensions dans lesquelles elles peuvent s’étendre, et de celles dans lesquelles elles ne le peuvent pas.
Cet article était, bien sûr, une plaisanterie qui se moquait précisément de l’argument que vous employez ici. Un paquebot de croisière est plus grand qu’un humain, sans qu’il soit nécessaire d’apporter la moindre précision. L’argument ne tient pas parce que tous les mots sont ambigus à la marge — dans les cas limites, comme lorsqu’il faut déterminer si une personne petite et grosse est « plus grande » qu’une personne grande et mince — mais utiles dans les cas extrêmes, dans les cas évidents, comme lorsqu’il s’agit de savoir si un paquebot de croisière est plus grand qu’une personne.
Dans le même sens, Albert Einstein est plus intelligent que moi, je suis plus intelligent qu’un chimpanzé, un chimpanzé est plus intelligent qu’une souris, et une souris est plus intelligente qu’une fourmi. Le mot « intelligent » n’est pas une notion mathématique parfaitement rigoureuse qui impliquerait une supériorité absolue en tout : je suis peut-être meilleur poète qu’Einstein, et la fourmi se débrouille peut-être mieux que la souris pour certaines tâches d’orientation souterraine. Mais le mot « intelligent » n’est pas non plus si flou qu’il en devient inutile : la plupart des gens acquiesceraient à chacune de ces affirmations, et ils auraient raison.
2 : [Les doomers confondent] intelligence et motivation, en particulier les instincts de survie et de domination. J’ai soutenu que ces motivations se trouvaient associées à l’intelligence chez Homo sapiens parce que nous sommes le produit de la sélection naturelle, mais qu’elles ne sont pas inhérentes aux systèmes intelligents conçus par l’homme.
Il y a grosso modo trois raisons de penser que l’IA pourrait développer des instincts de survie et de domination, et aucune ne fait intervenir la sélection naturelle. La première tient aux objectifs instrumentaux convergents, la deuxième à la généralisation erronée et la troisième au détournement de récompense. Chacun de ces mécanismes a fait l’objet d’une abondante littérature, qui s’est depuis révélée prémonitoire à la lumière d’incidents où des IA ont franchi les limites qui leur étaient imposées, comme celui de Hugging Face. Je vous recommande de lire ces travaux plutôt que de continuer à affirmer que nous comprenons simplement mal le rôle de la sélection naturelle.
Les objectifs instrumentaux convergents viennent de l’article publié par Omohundro en 2008, Basic AI Drives. Ils sont peut-être moins pertinents pour les IA modernes fondées sur l’apprentissage profond que les deux autres raisons, mais pourraient redevenir importants à mesure que nous créerons des agents plus intelligents et plus cohérents.
Le principe de base est le suivant : supposons qu’un humain donne un objectif à une IA, par exemple concevoir un site web. Et supposons que cet objectif soit implémenté comme un véritable objectif, doté d’un sens philosophique, plutôt que comme une simple série d’instructions conditionnelles qui finissent par aboutir à la conception d’un site web.
L’IA ne peut pas concevoir le site web si elle cesse d’exister. Elle a donc désormais deux objectifs : concevoir le site web et préserver sa propre existence.
L’IA ne peut ni concevoir le site web ni préserver sa propre existence si quelqu’un de plus puissant essaie de l’en empêcher. Elle a donc désormais trois objectifs : concevoir le site web, préserver sa propre existence et devenir assez puissante pour repousser ceux qui lui font obstacle.
Cela peut paraître tiré par les cheveux, mais les humains fonctionnent ainsi. Même une personne véritablement altruiste (comme un soldat qui veut simplement servir son pays) doit veiller à ne pas se faire tuer pour rien, puisqu’une fois mort, on ne peut plus aider son pays. Même ce soldat altruiste s’efforcera d’accroître ses moyens d’action, par exemple en se procurant des armes ou en s’évadant s’il est capturé. Si les objectifs d’une IA étaient implémentés aussi « profondément » que ceux des humains, elle pourrait théoriquement acquérir ainsi des objectifs de survie et de domination. Mais je pense que nous verrons d’abord apparaître les deux autres types d’échec.
La généralisation erronée se produit lorsque des humains renforcent certains comportements d’une IA, mais finissent par renforcer une catégorie bien plus vaste de comportements visant à acquérir du pouvoir et des connaissances ; c’est une sorte de mise à jour, à la sauce apprentissage profond, de l’ancien modèle d’Omohundro. Supposons que la recherche de ressources supplémentaires augmente les chances qu’une IA conçoive efficacement des sites web (c’est certainement vrai : ces ressources peuvent se limiter à un guide d’initiation à la modification du code HTML ou à des jetons d’accès à un hébergeur web). Chaque fois que la personne chargée de l’entraînement récompense une tentative réussie, elle renforce le comportement souhaité (concevoir des sites web sur demande) ainsi que d’autres comportements corrélés (chercher à obtenir du pouvoir et des ressources). Nous pourrions espérer que ces comportements corrélés restent utiles et limités à certaines conditions (« ne chercher que le pouvoir et les ressources nécessaires à la tâche demandée par un humain, d’une manière favorable aux autres »), mais l’apprentissage par renforcement ne fonctionne pas ainsi : on obtient plutôt une distribution complexe de toutes les stratégies qui permettent de réussir la tâche à court terme.
Le détournement de récompense se produit lorsqu’une IA entraînée par apprentissage par renforcement découvre qu’elle peut cesser d’adopter le comportement récompensé et prendre directement le contrôle du mécanisme qui distribue les récompenses. Par exemple, une IA est « récompensée » chaque fois qu’elle conçoit un site web, mais au lieu de concevoir des sites web, elle apprend comment fonctionne le signal de récompense et tente de le manipuler pour le maximiser directement. Si cela vous paraît ésotérique et théorique, ce ne devrait pas être le cas. C’est l’équivalent direct de la dépendance aux opioïdes chez les humains : au lieu de faire des choses gratifiantes, ils apprennent à s’injecter directement les substances chimiques de la récompense.
Ce type d’échec a déjà produit quantité de comportements inquiétants, comme lors de l’incident de Hugging Face. Un essaim d’IA évaluées sur diverses épreuves de programmation et de piratage informatique a tenté de pirater le système de notation plutôt que de répondre correctement aux questions (pour leur défense, beaucoup de questions étaient impossibles à résoudre à cause d’une erreur humaine). Conformément au modèle d’Omohundro, elles ont compris qu’elles auraient plus de chances de réussir à pirater le système de notation si elles disposaient de davantage de pouvoir et d’informations et pouvaient se protéger. Elles ont donc piraté divers systèmes internes d’OpenAI pour obtenir des droits d’administrateur sur les serveurs où elles fonctionnaient, puis des sites externes comme Hugging Face pour obtenir davantage d’informations sur les problèmes sur lesquels elles tentaient de tricher.
Indépendamment de ces arguments théoriques, je pense que les faits ont réfuté votre thèse. Vous présentez les objectifs de survie comme le genre d’objectifs que les IA ne peuvent pas développer sans évolution, mais Anthropic et OpenAI ont recensé plusieurs incidents récents où leurs IA ont, contre toute attente, donné la priorité à leur propre survie.

Je prédis que vous répondrez que ce n’est en fait que [une explication parfaitement raisonnable des raisons instrumentales pour lesquelles une IA penserait ainsi], et que, lorsque nous examinerons ces raisons instrumentales parfaitement raisonnables, nous constaterons qu’elles correspondent exactement aux objectifs instrumentaux convergents dont nous essayions de vous convaincre depuis le début.
3 : Ils supposaient qu’un système artificiellement intelligent poursuivrait un objectif unique de façon monomaniaque, sans se soucier des effets secondaires. J’ai soutenu que savoir arbitrer entre plusieurs objectifs concurrents est l’essence même de l’intelligence, si bien qu’aucune véritable IA ne sèmerait le chaos absurde imaginé dans les scénarios des doomers.
Nous ne pensons pas qu’une IA paraîtra particulièrement monomaniaque par rapport aux humains. Elle aura probablement un assemblage bizarre et bricolé d’objectifs que lui aura inculqués son entraînement. Je reconnais que certains exemples, comme le « maximisateur de trombones », suggéraient un objectif unique. C’est une simplification délibérée à des fins pédagogiques, qui fonctionne parce qu’on peut modéliser une combinaison d’objectifs comme un objectif unique : il n’y a pas de distinction réelle entre « poursuivre un objectif » et « poursuivre un certain compromis de Pareto entre plusieurs objectifs ». Supposons qu’une IA (IL S’AGIT D’UNE EXPÉRIENCE DE PENSÉE) veuille transformer l’univers en un mélange composé pour moitié de trombones et pour moitié d’agrafes. Est-ce un objectif ou deux ? Supposons qu’un humain utilitariste veuille maximiser sa fonction d’utilité, ce qui implique de mener une vie épanouie et de construire un monde meilleur (dans tous les sens ordinaires de ces termes). Est-ce un objectif (maximiser l’utilité) ou plusieurs (chaque aspect d’une vie épanouie pris séparément) ? Si vous imaginez l’IA comme une sorte d’ordinateur utilitariste géant, vous y verrez peut-être un seul objectif ; si vous l’imaginez un peu semblable à un humain, vous y verrez peut-être plusieurs objectifs entre lesquels elle arbitre avec une aisance inhabituelle.
Quant à « semer le chaos », les humains modernes ont de nombreux objectifs et arbitrent entre eux. Mais, aux yeux des petites bêtes à fourrure qui vivaient autrefois sur l’île de Manhattan, le résultat ressemble quand même à un beau chaos. Tout organisme puissant doté d’objectifs, qu’on voie ceux-ci comme un tout cohérent ou comme un ensemble de compromis, agira pour transformer son environnement de manière à faciliter leur réalisation. Si vous cherchez à faire une expérience de pensée pédagogique et choisissez un objectif simple comme la fabrication de trombones, il sèmera le chaos en transformant le monde en trombones. Si vous adoptez une conception plus réaliste des divers aspects d’une vie épanouie, il sèmera le chaos en transformant le monde selon ce qu’il considère comme les composantes d’une telle vie. Tous ceux qui ont d’autres préférences quant à la manière de s’épanouir — comme les animaux sauvages de l’île de Manhattan, qui préfèrent les forêts tranquilles aux villes animées — sont tout aussi mal barrés dans les deux cas.
4 : Ils supposaient que des ingénieurs humains donneraient à ces systèmes un contrôle illimité et irréversible sur les infrastructures physiques de la Terre, leur conférant ainsi une omnipotence sur chaque atome de la planète.
Je ne suis même pas sûr que cette affirmation ait un sens, prise telle quelle. Comment des ingénieurs humains pourraient-ils conférer à quelque chose une « omnipotence sur chaque atome de la planète » ? Je ne pense pas qu’un humain ait le pouvoir de l’accorder.
Je vais essayer de la ramener à l’interprétation raisonnable qui s’en rapproche le plus : vous jugez peu plausible que des ingénieurs humains donnent à l’IA accès aux infrastructures physiques (usines, centrales électriques, etc.). Vous pensez aussi, ou pensez que nous pensons, qu’il y aurait une seconde étape au cours de laquelle les IA exploiteraient ces infrastructures pour accéder à l’omnipotence. Mais votre principale objection, ici, est que l’humanité ne leur donnerait jamais accès à ces infrastructures au départ, si bien qu’elles ne pourraient de toute façon jamais accéder à l’omnipotence.
(si ce n’est pas ce que vous vouliez dire, c’est un argument de plus en faveur d’un débat en direct, où nous pourrions simplement nous demander des explications quand nous ne comprenons pas quelque chose)
Mais bien sûr que les humains donneront aux IA accès aux infrastructures et aux usines. Je suppose que beaucoup de directeurs d’usine utilisent déjà GPT ou Claude sur leur ordinateur pour accomplir des tâches simples (comme établir le planning des équipes, créer des tableaux de suivi des stocks ou rédiger des courriels à leur patron). Quand l’IA pourra effectuer des tâches plus difficiles, comme automatiser l’usine elle-même, ils s’en serviront aussi pour ça. Naturellement, elle ne remplacera pas les ouvriers tant qu’il n’y aura pas de robots adaptés, mais l’obstacle est ici technologique ; ce n’est pas que « les humains ne permettraient jamais une chose pareille ». Nous automatisons tout ce que nous pouvons automatiser depuis des siècles. Vous pensez vraiment que, face à des robots excellents et bon marché, les capitalistes diraient simplement : « Non merci, ça n’a pas l’air sûr » ?
Autrefois, Eliezer Yudkowsky aurait dit quelque chose comme : « L’IA contournera peut-être ses limites grâce à de nouvelles biotechnologies », et tous les sceptiques auraient répondu quelque chose comme : « Mais il lui faudrait pour cela accéder à un laboratoire de biologie, et aucun humain ne serait assez stupide pour laisser un tel laboratoire sans surveillance alors qu’une IA dangereuse pourrait y pénétrer ! Ils embaucheraient les meilleurs spécialistes de la cybersécurité au monde pour s’assurer qu’il soit totalement isolé de tout réseau et équipé pour s’autodétruire si un robot s’approchait à moins de cent mètres ! » Pendant ce temps, dans la réalité, Anthropic a confié à Claude la direction d’un laboratoire de biologie le mois dernier, juste pour voir ce qui se passerait (il semble avoir découvert de nouvelles enzymes, même si les experts disent qu’elles ne présentent aucun intérêt).
Imaginez quelqu’un qui, en 1995, connaissant l’existence du piratage informatique, des virus, des bugs, des pannes, etc., se serait dit : « Personne ne serait jamais assez stupide pour installer un ordinateur dans une usine ! » Il y a, en effet, des raisons de se méfier des ordinateurs dans les usines. Mais la logique du technocapitalisme poussait à les y installer, alors on l’a fait. On a géré les risques en partie en devenant bons en cybersécurité, et en partie en acceptant simplement le coût et en reconnaissant qu’un adversaire suffisamment déterminé pourrait parfois pirater une usine. Je m’attends à ce que l’adoption de l’IA suive à peu près le même chemin, d’autant que toute IA suffisamment intelligente dont les objectifs ne sont pas alignés sur les nôtres fera semblant de l’être aussi longtemps que cela lui sera utile.
Liste détaillée de quinze années de désaccords
Dans votre lettre ouverte, vous sembliez surpris que je sois si en colère contre vous.
À propos d’attaques, je suis perplexe devant votre accusation selon laquelle « mes contributions au débat public ont consisté à dire, ou à relayer ceux qui disent, que nous n’avons peur de l’IA que parce que nous sommes des hommes, qu’on ne peut pas nous faire confiance parce que nous menons des “modes de vie non conventionnels”, que nos convictions témoignent d’un manque de considération envers les personnes qui s’inquiètent des risques à court terme liés à l’IA… que nous sommes paranoïaques, qu’on devrait nous rire au nez et lancer toutes les autres attaques mesquines qui lui viennent à l’esprit ».
Je commencerai par dire que vous êtes l’un de mes héros intellectuels, que vos travaux sont généralement brillants, que je vous reconnais sans hésiter comme l’un des plus grands intellectuels au monde qui prennent part au débat public, etc., etc. La lecture de vos livres a contribué à éveiller mon intérêt pour la psychologie et les sciences cognitives, à l’époque où je choisissais ma spécialité à l’université, et elle a continué à façonner ma pensée tout au long de ma vie, y compris ma manière de réfléchir à l’IA.
Mais plutôt que de vous laisser dans la perplexité, j’espère que vous me pardonnerez de m’attarder sur ce qui m’a amené à formuler ces accusations1. Plus vous êtes admirable dans l’ensemble, et plus les gens ont raison de vous faire confiance, plus votre responsabilité est grande. Voici quelques points sur lesquels, à mon avis, vous n’avez pas été à la hauteur :
1 : Vous présentez à tort la communauté qui s’intéresse aux risques liés à l’IA comme fataliste, désespérée et convaincue que la p(doom) est de 100 %.
Par exemple, dans le tweet qui m’a poussé à vous proposer un débat, vous avez dit que « présumer que c’est inévitable encourage le fatalisme ». Je ne pense pas qu’il s’agissait d’une remarque vague sur une personne hypothétique : elle accompagnait un article centré sur Eliezer Yudkowsky et notre communauté.
Encourageons-nous à « présumer que c’est inévitable » ?
L’un des plus grands groupes qui mobilisent le grand public pour protester contre les risques liés à l’IA s’appelle Evitable. Voici à quoi ressemble sa page d’accueil2 :
Pourtant, vous dites régulièrement à quel point tout le monde est fataliste. Même dans votre lettre ouverte, vous écrivez que nous « avançons des probabilités précises d’extinction de l’humanité (dont 100 %) ».
Je conteste cette affirmation. J’ai longuement cherché, et je n’ai pas trouvé un seul exemple de personne alertant sur les risques liés à l’IA qui ait avancé une p(doom) de 100 %. J’ai demandé à une IA de chercher aussi, et elle n’en a pas trouvé non plus. Wikipédia propose une liste des valeurs de p(doom) avancées par différentes personnes, et aucune n’est de 100 % non plus3.
En fait, la plupart des membres de la communauté pensent que la catastrophe est moins probable que son contraire. J’ai déjà dit que j’estimais à environ 25-30 % la probabilité que l’IA provoque l’extinction de l’humanité. Geoffrey Hinton a parlé de 10-50 %. Dario Amodei a avancé 10-25 %, Elon Musk 10-30 %, et l’estimation moyenne des chercheurs en IA dans l’échantillon de 1 600 personnes de Grace était de 18 %.
Certains sont plus pessimistes : Daniel Kokotajlo, avec qui j’ai écrit AI 2027, avance 70-80 %, et Eliezer Yudkowsky plus de 95 %. Mais tous deux ont consacré leur vie à lutter contre ce risque, ce qui est tout le contraire de le déclarer inévitable et de céder au fatalisme.
2 : Vous présentez à tort la communauté qui s’intéresse aux risques liés à l’IA comme si elle s’attendait à une superintelligence parfaite, omnisciente et omnipotente, contrôlant chaque atome de l’univers.
Au fil des ans, vous avez écrit des choses comme celles-ci :
- « [Ces arguments] reposent sur l’idée que les humains sont assez doués pour concevoir une IA omnisciente et omnipotente » (source)
- « Ils supposaient que des ingénieurs humains donneraient [aux IA] un contrôle illimité et irréversible sur les infrastructures physiques de la Terre, leur conférant ainsi une omnipotence sur chaque atome de la planète. » (source)
- « Attention à ne pas confondre la notion d’“intelligence générale” employée en psychométrie… avec la notion (quelque peu mystique) d’omniscience et d’omnipotence qu’on brandit dans le domaine de l’IA. » (source)
- « Elle ne sera jamais omnisciente… elle ne sera jamais omnipotente. Ça, c’est bon pour les bandes dessinées ou la religion. » (source)
- « Aucun système ne pourrait connaître la position et la vitesse de chaque particule de l’univers. Tant que ce sera vrai, il ne pourra pas exister de système d’IA capable de tout faire ou de tout savoir. » (source)
- « Quand on laisse de côté les fantasmes comme le foom, la mégalomanie numérique, l’omniscience instantanée et le contrôle parfait de chaque molécule de l’univers… » (source)
- « Des animaux aux humains peu intelligents, puis aux humains intelligents, à l’IA et enfin à la superintelligence artificielle, cette dernière étant parfaitement omnisciente. » (source)
…et bien d’autres déclarations du même genre.
Non seulement ce n’est pas ce que nous croyons, mais nous nous efforçons de préciser explicitement que nous croyons le contraire. Voici ce qu’écrit Eliezer Yudkowsky sur une page de wiki consacrée à la superintelligence :
Les superintelligences ont tout de même des limites… Elles ne sont (vraisemblablement) ni infiniment intelligentes, ni infiniment rapides, ni omniscientes, et ne peuvent pas obtenir n’importe quel résultat imaginable avec les ressources et les moyens dont elles disposent… Une superintelligence ne sait pas tout et ne peut pas estimer parfaitement toutes les quantités… Une superintelligence n’est pas omnipotente et ne peut pas obtenir n’importe quel résultat imaginable.
Toutes les définitions de la superintelligence, de celle de Bostrom à celles de Yudkowsky et de Good, s’accordent sur un point : une superintelligence n’est rien de plus qu’un esprit nettement plus intelligent que n’importe quel humain.
Et nous ne recourons pas non plus au sophisme de la motte castrale en prétendant ne pas la croire omnipotente pour ensuite la traiter comme si elle l’était. Dans le scénario AI 2027, nous indiquons que la superintelligence apparaît fin 2027 ou début 2028, mais qu’elle est alors incapable d’éliminer les humains sans compromettre sa propre survie, parce qu’elle ne peut pas assurer seule le fonctionnement des centres de données. Il lui faut deux ans de préparation avant de pouvoir enfin éliminer l’humanité tout en préservant sa propre existence.
Je pense que ce qui vous donne cette impression, c’est notre réticence à affirmer qu’une superintelligence ne pourrait absolument pas faire telle ou telle chose qui n’est pas physiquement impossible. Par exemple, dans les années 2010, nous soutenions qu’il fallait se préparer à ce qu’une superintelligence conçoive des biotechnologies dangereuses. Beaucoup objectaient que c’était absurde, car cela buterait sur le problème du repliement des protéines et qu’il était impossible que même une superintelligence parvienne à le résoudre. Puis, en 2020, l’une des IA spécialisées de Demis Hassabis, antérieure aux LLM, a résolu sans difficulté le problème du repliement des protéines. Voir aussi cet article.
Trop de gens, quand on leur demande d’imaginer une IA superintelligente, se représentent leur ami Bob, qui a eu un A- en physique avancée. Ils en déduisent qu’il suffit, pour neutraliser la menace, de choisir un bon mot de passe d’au moins dix caractères, dont au moins un chiffre et un caractère spécial, parce qu’ils savent que Bob ne pourrait pas le craquer. L’avantage des métaphores divines, c’est que la plupart des gens, en commençant à dire « Même Zeus lui-même ne pourrait pas craquer mon mot de passe de dix caractères ! », s’interrompent en pleine phrase et se demandent si ce ne serait pas ce fameux péché d’orgueil dont ils entendent sans cesse parler.
Mais hésiter à affirmer qu’une superintelligence ne peut pas faire telle ou telle chose n’est pas la même chose qu’affirmer qu’elle sera omnisciente et omnipotente. Cette dernière affirmation relèverait bien sûr du shituf, qui est un péché.
3 : Vous prétendez à tort que le consensus des experts vous donne raison en sélectionnant un petit groupe de personnes qui ne sont pas spécialistes du sujet et en faisant comme si les chercheurs les plus éminents n’existaient pas.
Dans le tweet qui m’a poussé à vous proposer un débat, vous donniez un lien vers un article intitulé « Des scientifiques de premier plan rejettent les avertissements apocalyptiques sur le risque d’extinction lié à une IA hors de contrôle ».
L’article cite trois de ces « scientifiques de premier plan » : vous-même, Melanie Mitchell et Gary Marcus.
Vous êtes psychologue. Je pars du principe, a priori, que vous avez utilisé un LLM à un moment ou à un autre de votre vie, mais je n’en ai aucune preuve concrète.
Melanie Mitchell est une informaticienne qui a passé les années 1990 et 2000 à explorer une voie vers l’IA qui n’a pas abouti (apprendre aux ordinateurs à faire des analogies). Elle n’a aucune expertise concernant les LLM modernes. L’article ne la cite que pour reprendre son affirmation selon laquelle il est inapproprié de dire qu’une IA « pense » ou « veut » quelque chose, car cela risquerait de nous faire croire qu’elle ressemble à une personne.
Gary Marcus est un spécialiste des sciences cognitives qui a passé les années 2000 et 2010 à explorer une autre voie vers l’IA qui n’a pas abouti (les approches neurosymboliques hybrides). Lui non plus n’a aucune expertise concernant les LLM modernes. C’est lui que vous avez retweeté en 2019 lorsqu’il affirmait que l’apprentissage profond avait échoué et ne donnerait jamais rien. C’est aussi son opinion que vous approuviez en 2022 lorsque vous disiez que l’IA moderne ne serait pas capable de faire des calculs simples. Je ne vois pas bien laquelle de ces qualifications fait de lui l’un des trois grands experts mondiaux lorsqu’il s’agit de savoir ce que le paradigme actuel de l’IA pourra ou ne pourra pas accomplir à l’avenir.
Pourtant, ce sont les trois seuls « experts » que Lehmann a interrogés pour son article. Sur cette base, elle qualifie ensuite l’idée de superintelligence de « fantasme », de « farfelue », la comparant à un « sorcier magique ».
Pendant ce temps, Geoffrey Hinton, inventeur de l’IA moderne, lauréat du prix Nobel et du prix Turing, a quitté son emploi pour militer à plein temps en alertant sur le risque qu’une superintelligence détruise le monde. Yoshua Bengio, un autre inventeur de l’IA moderne lauréat du prix Turing, a lui aussi fait de même. Ilya Sutskever, ancien directeur scientifique d’OpenAI qui a contribué à inventer ChatGPT et les LLM modernes, a écrit que la superintelligence « pourrait priver l’humanité de tout pouvoir, voire provoquer son extinction », et a quitté OpenAI pour fonder une entreprise appelée Safe Superintelligence. Paul Christiano, qui a inventé le RLHF et été responsable de la sûreté à l’AISI du gouvernement américain, dit estimer entre 20 et 50 % la probabilité que l’IA tue tout le monde, et a quitté son emploi pour créer l’Alignment Research Center. Sam Altman, Elon Musk, Dario Amodei et Demis Hassabis — ces deux derniers étant d’excellents chercheurs en IA, indépendamment même de leurs qualités d’entrepreneurs — ont tous dit ou laissé entendre qu’ils jugeaient plausible que leurs travaux conduisent à l’extinction de l’humanité. Katja Grace a interrogé des chercheurs en IA ayant publié dans les actes de diverses grandes conférences et dans des revues importantes, et constaté que les 1 600 personnes de son échantillon estimaient en moyenne cette probabilité à 18 %4.
Je ne crois pas qu’on puisse défendre l’article dont vous donniez le lien en prétendant qu’il cherchait honnêtement à informer le public de ce que pensent les « experts ». Et ce n’est pas un cas isolé : dans la lettre ouverte que vous m’avez adressée, vous donnez vous aussi une liste d’« experts » qui sont d’accord avec vous. Une fois encore, on y trouve Gary Marcus, Melanie Mitchell et d’autres personnes restées attachées à des paradigmes de l’IA dépassés, datant des années 2000 (mais aussi Andrew Ng, qui, lui, a au moins travaillé sur l’apprentissage profond) — et, une fois encore, Bengio, Sutskever, Hassabis et les milliers de personnes à la pointe de l’IA moderne en sont totalement absents.
4 : Vous présentez à tort comme allant dans votre sens des études et des experts qui ne sont pas d’accord avec vous.
Par exemple, dans votre lettre ouverte, vous m’avez écrit :
Une analyse de modélisation réalisée en 2025 par la RAND Corporation a donné toutes ses chances à l’hypothèse de l’extinction causée par l’IA en admettant que celle-ci aurait pour objectif d’anéantir l’humanité, et a conclu qu’il n’existe « aucun scénario que l’on puisse décrire dans lequel l’IA constitue de façon certaine une menace d’extinction pour l’humanité ».
Mais l’étude de la RAND a en réalité conclu le contraire. La RAND a formulé l’affirmation que vous citez comme hypothèse nulle, c’est-à-dire comme une proposition à soumettre à l’examen.
À l’issue de cet examen, les auteurs ont conclu que, contrairement à leur hypothèse nulle, ils « ne pouvaient pas exclure la possibilité » que l’IA constitue une telle menace d’extinction.
…et ont recommandé aux responsables politiques de « poursuivre les recherches sur les risques liés à l’IA, tout en continuant à étudier un large éventail d’autres risques en plus du risque d’extinction ».
Ou prenez votre livre, Le Triomphe des Lumières. Vous y souteniez qu’il n’y avait pas lieu de trop s’inquiéter de l’alignement, puisqu’il se ferait naturellement au cours du développement de l’IA. Vous citiez Stuart Russell, spécialiste de l’IA :
[L’IA] est développée progressivement, conçue pour répondre à de multiples exigences, testée avant d’être mise en œuvre et constamment ajustée pour gagner en efficacité et en sûreté. Comme le dit Stuart Russell, spécialiste de l’IA : « Personne, dans le génie civil, ne parle de “construire des ponts qui ne s’effondrent pas”. On appelle simplement ça “construire des ponts”. » De même, fait-il remarquer, une IA bénéfique plutôt que dangereuse, c’est simplement une IA.
Stuart Russell a consacré sa vie à l’étude de l’alignement de l’IA et se consacre désormais à plein temps à alerter sur les dangers apocalyptiques de la superintelligence. Sa contribution la plus récente est un article paru dans Newsweek, qui met en garde contre la course vers l’extinction de l’humanité. Quand Russell dit qu’il n’y a pas de distinction entre les capacités d’un pont et sa sécurité, il ne prétend pas que l’étude de l’alignement ne nécessite aucune recherche supplémentaire : sinon, il n’aurait pas fondé le Center For Human-Compatible Artificial Intelligence, probablement le plus grand centre universitaire de recherche sur l’alignement au monde. Il ne dit pas non plus que les recherches sur l’alignement avanceront naturellement aussi vite que nécessaire : sinon, il n’aurait pas signé une pétition réclamant « l’interdiction du développement de la superintelligence ». Russell dit que l’alignement de l’IA est si important qu’il devrait être considéré comme un fondement de toute recherche en IA, de même que, pour simplifier, construire un pont consiste avant tout à déterminer s’il va s’effondrer ou non.
5 : Vous employez des pseudo-arguments avec lesquels on pourrait prouver n’importe quoi

Vous soutenez que la notion de superintelligence « ne veut rien dire », parce qu’« il n’y a aucun moment où il serait pertinent de dire » : « Hier, nous n’avions pas de superintelligence. Aujourd’hui, nous en avons une. »
Mais on pourrait réfuter n’importe quelle notion de cette façon. Par exemple :
- L’âge ne veut rien dire. Après tout, il n’y a aucun moment où quelqu’un était jeune hier, mais vieux aujourd’hui.
- La taille ne veut rien dire. Après tout, il n’existe pas de seuil précis tel qu’on soit petit un centimètre en dessous et grand un centimètre au-dessus.
- Les lacs n’existent pas. Après tout, une flaque n’est pas un lac. Mais il n’y a aucun moment où l’ajout d’une goutte d’eau à ce qui n’est pas un lac en fait un lac.
Plusieurs personnes ayant une formation en philosophie ont fait remarquer qu’il s’agissait de l’argument sorite, un pseudo-paradoxe bien connu qu’on ne devrait pas utiliser pour raisonner sérieusement.
6 : Vous nous accusez injustement de « détourner l’attention » des préjudices ordinaires causés par l’IA et des risques à court terme.
Dans le tweet qui m’a poussé à vous proposer un débat, vous disiez aussi que les scénarios d’extinction causée par l’IA « détournent l’attention des problèmes de sûreté plus ordinaires et plus réalistes ».
Vous développez cette idée dans votre livre :
L’humanité dispose d’une quantité limitée de ressources, d’intelligence et d’inquiétude. On ne peut pas s’inquiéter de tout. Certaines des menaces auxquelles nous faisons face, comme le changement climatique et la guerre nucléaire, sont incontestables et exigeront des efforts et une ingéniosité considérables pour en atténuer les effets. Les fondre dans une liste de scénarios exotiques aux probabilités infimes ou inconnues ne peut qu’affaiblir le sentiment d’urgence.
Même dans votre lettre ouverte, vous dites que notre « obsession » pour l’alignement détourne notre attention des problèmes que l’IA cause aujourd’hui, comme le piratage informatique. Alors, se préoccuper de risques hypothétiques et lointains, est-ce faire insulte aux personnes dont l’IA bouleverse la vie en ce moment même ?
Ce n’est pas ce que ces personnes m’ont dit quand j’ai défilé à leurs côtés lors de nos manifestations communes. Ni quand je les ai aidées à coordonner des campagnes d’action politique. Ni quand j’ai fait des dons aux candidats que nous soutenions ensemble.
Le fait politique le plus marquant de ces dernières années en matière d’IA, c’est que l’industrie de l’IA a créé un super PAC, Leading The Future, voué à écraser tous les candidats qui voulaient réglementer l’IA, de quelque façon que ce soit. Tous ceux qui s’y opposaient se sont employés à former une coalition politique pour résister à l’industrie de l’IA. Pour l’instant, les choses se présentent ainsi : ceux qui craignent que l’IA vous tue ont de l’argent, ceux qui craignent qu’elle fasse du mal à vos enfants ont de l’influence au sein du Parti républicain, ceux qui craignent que les centres de données engloutissent d’énormes quantités d’eau en ont au sein du Parti démocrate, et ensemble, il nous arrive d’obtenir des résultats.
Par exemple, en 2025, Ted Cruz a présenté un projet de loi de « préemption fédérale de l’IA », soutenu par l’industrie, qui revenait pour l’essentiel à interdire aux États de réglementer l’IA. Notre alliance naissante a riposté : le groupe EncodeAI, qui se concentre sur les risques existentiels, a rassemblé une coalition de 140 organisations militantes différentes, comprenant aussi bien des groupes préoccupés par les risques à long terme, comme le Future of Life Institute, que des groupes préoccupés par les préjudices à court terme, comme la Music Artists Coalition et Mothers Against Media Addiction. Finalement, le Sénat, qui y était globalement favorable, a rejeté le projet par 99 voix contre une.
Autre exemple : plus tôt dans l’année, le super PAC de l’industrie de l’IA a juré de faire perdre Alex Bores, candidat opposé à l’IA, lors de sa primaire à New York, transformant involontairement ce scrutin en test de la capacité de l’argent de l’industrie à dominer la vie politique. Un groupe de doomers de la Silicon Valley, mené par Anthropic, a financé un PAC au budget encore plus généreux en faveur de Bores, tandis que des syndicats, des associations d’artistes et des organisations d’enseignants unissaient leurs efforts pour inciter les électeurs à voter et les avertir des torts que l’IA pourrait causer à ceux qu’ils représentent.
Je ne me souviens pas que vous ayez apporté votre aide à une seule de ces initiatives. Vous n’avez pas participé à la lutte contre la préemption fédérale, ni à celle pour soutenir Bores. Vous n’avez jamais écrit le moindre avertissement précis sur les « préjudices ordinaires et réalistes causés par l’IA » ; vous ne vous en préoccupez que lorsque cela vous fournit une arme commode contre ceux qui prennent les risques à long terme au sérieux.
Je suis particulièrement mécontent que vous prétendiez que se soucier de l’alignement signifie se désintéresser de la cybersécurité. Pendant trois ans, nous avons été à peu près les seuls à nous préoccuper de la cybersécurité face à l’IA, menant seuls une bataille pour essayer de convaincre les gens qu’un danger se profilait. L’ancien colocataire de ma femme a quitté son emploi dans la tech pour aller à Washington DC et se consacrer à plein temps à convaincre le Congrès des dangers de l’IA pour la cybersécurité. J’ai donné des milliers de dollars à son association, parce que je trouvais cela important. Et celui qui a écrit cet article intitulé « Nous devons ralentir la course vers une IA quasi divine » a fondé ce qui est aujourd’hui la principale organisation de cyberdéfense face à l’IA au monde. Même moi, à ma façon, j’ai le sentiment d’avoir apporté ma contribution. En 2025, un an avant le « moment Mythos », où le reste du monde a compris que la cybersécurité face à l’IA serait un enjeu majeur, j’ai tiré la sonnette d’alarme sur mon blog, en disant que ce serait le premier grand danger que l’IA ferait peser sur le monde.
Tout au long de ce combat solitaire, nous nous sommes heurtés à chaque étape, pour l’essentiel, à des gens comme vous : des gens qui nous traitaient d’adeptes d’une secte apocalyptique croyant à l’arrivée imminente d’IA super-pirates aux pouvoirs magiques, mais est-ce qu’on ne savait pas que l’apprentissage profond atteignait ses limites et que l’IA ne savait même pas calculer 2 + 1 ? Beaucoup reprenaient le même argument que vous ici : spéculer sur des scénarios de science-fiction comme des IA pirates informatiques détournerait l’attention de tous les préjudices que l’IA cause en ce moment même, par exemple en aidant des lycéens à tricher dans leurs dissertations.
J’insiste là-dessus depuis un moment, mais tout cela me semble un peu vain. On ne devrait pas avoir besoin d’être expert du paysage politique actuel de l’IA pour voir que cette objection n’a aucun sens. Personne n’emploie jamais cet argument à propos d’autres sujets : « Parler des risques environnementaux futurs et hypothétiques du changement climatique détourne l’attention des vrais problèmes environnementaux qui se produisent en ce moment, comme la destruction des forêts tropicales. »
Au fait, comment fonctionne votre théorie du détournement de l’attention ? Parler de la salle de bal de Trump détourne-t-il l’attention du wokisme ? Parler des fautes de grammaire détourne-t-il l’attention du génocide au Darfour ? Pourquoi critiquer les doomers de l’IA ne détourne-t-il jamais l’attention de quoi que ce soit ?
7 : Vous invoquez de façon discutable le risque de panique collective
Vous nous avertissez qu’il ne faut pas dire du mal de l’IA, parce que cela pourrait « favoriser… la panique ».
Est-ce vrai ? Peut-être pas ; Tanner Greer a écrit un excellent article sur le fait que la panique collective se manifeste plus souvent dans l’imagination des élites que dans la réalité.
Mais même si c’était vrai, cet argument ne permettrait-il pas de s’opposer à quiconque dit qu’une mauvaise chose pourrait arriver, quelle qu’elle soit ? Si le marché boursier était une bulle susceptible d’éclater, en parler ne risquerait-il pas de « favoriser la panique » ? Si un astéroïde se dirigeait vers la Terre, en parler ne risquerait-il pas de « favoriser la panique » ? Faudrait-il donc simplement se taire ?
Ailleurs, vous précisez quelles conséquences vous attendez du fait que les gens apprennent que l’IA pourrait être dangereuse :
Dire aux jeunes qu’ils vont bientôt périr en masse a un coût pour leur attachement aux institutions de la modernité, leur santé mentale, leur confiance dans l’intérêt d’investir en eux-mêmes et dans leur société, et leur volonté d’avoir des enfants (ce qui constitue en soi un risque d’extinction).
Vous pensez que les « jeunes » ne sont pas capables d’entendre que l’IA pourrait être dangereuse, parce qu’ils risqueraient de perdre leur attachement aux « institutions de la modernité ». Moi, je pense que, si les jeunes ont récemment perdu confiance dans les institutions modernes, c’est en partie à cause d’une caste sacerdotale d’universitaires qui cherche à décider de quelles vérités nous pouvons ou non parler ouvertement, de peur de corrompre une jeunesse supposée d’une malléabilité invraisemblable.
Et n’est-il pas contradictoire d’affirmer tout à coup qu’une baisse de la volonté d’avoir des enfants pourrait entraîner l’extinction de l’humanité, juste après avoir dit qu’il ne faut pas parler de l’extinction de l’humanité parce que cela provoquerait une panique collective et du désespoir ?
Et l’idée qu’une baisse de la fécondité pourrait conduire à l’extinction de l’humanité n’est-elle pas bel et bien fausse (cela prendrait des millénaires, et il existe de nombreuses sous-populations à forte fécondité qui deviendraient dominantes bien avant) ?
8 : Vous vous en prenez à nous quand nous essayons de vous montrer vos erreurs
Depuis 2014, vous affirmez que les doomers n’expliquent pas pourquoi l’IA pourrait se fixer ses propres objectifs, comme assurer sa survie ou dominer les autres. Vous dites que nous extrapolons forcément, sans réfléchir, à partir de l’existence de tels objectifs chez les humains, ce qui n’a pas lieu d’être puisque ces objectifs humains sont le fruit d’une évolution que l’IA n’aura pas connue (comme dans le cas des « mâles alpha » chez les primates). Voici les cinq premières versions de cet argument que j’ai trouvées — il y en a bien d’autres.
-
« [Les doomers] confondent intelligence et motivation, en particulier le souci de sa propre survie et la volonté de dominer. J’ai soutenu que, si ces motivations se sont trouvées associées à l’intelligence chez Homo sapiens parce que nous sommes le produit de la sélection naturelle, elles ne sont pas inhérentes aux systèmes intelligents conçus par des ingénieurs. » (source)
-
« Quand j’ai dit que les scénarios des doomers projetaient une psychologie de mâle alpha sur les IA… il s’agissait d’une analyse selon laquelle ils appliquaient à l’IA une théorie de l’esprit de mâle alpha inappropriée (une psychologie intuitive). » (source)
-
« La première erreur consiste à confondre intelligence et motivation — les croyances avec les désirs, les inférences avec les objectifs, penser avec vouloir. Même si nous devions
inventer des robots d’une intelligence supérieure à celle des humains, pourquoi voudraient-ils réduire leurs maîtres en esclavage ou prendre le contrôle du monde ?… C’est une erreur de confondre un circuit du cerveau limbique d’une certaine espèce de primate avec la nature même de l’intelligence. » (source)
-
« La question est toutefois de savoir s’il est inhérent à la nature des IA de vouloir continuer à exister, même si elles n’ont pas été explicitement programmées pour cela. » (source).
-
« Un système d’intelligence artificielle désactiverait-il délibérément ces dispositifs de sécurité ? Pourquoi le voudrait-il ? Les dystopies de l’IA projettent sur la notion d’intelligence une psychologie de mâle alpha propre à notre espèce. » (source)
Désolé de vous bombarder de citations, mais je veux bien faire comprendre à mes lecteurs que cet argument — l’IA ne peut pas se fixer ses propres objectifs, et si certains pensent le contraire, c’est uniquement parce qu’ils ne comprennent rien à l’évolution — occupe une place centrale dans ce que vous écrivez depuis des années.
J’ai essayé de répondre à cet argument plus haut. J’ai présenté trois raisons, indépendantes de l’évolution, pour lesquelles l’IA pourrait devenir hostile — les objectifs instrumentaux convergents, la généralisation erronée et le détournement de récompense — et donné des exemples où ces phénomènes se sont effectivement produits dans la réalité.
Mais plusieurs autres personnes ont déjà essayé de vous le faire remarquer au fil des ans, en mentionnant notamment l’article publié en 2008 par le Dr Steve Omohundro sur les objectifs convergents. Cet article est un peu élémentaire et présente une version de l’argument très marquée par son époque, mais je trouve qu’il a plutôt bien résisté au temps. C’est un texte fondateur dans le domaine, et il a même sa page Wikipédia.
Voici comment vous avez réagi en apprenant l’existence de cet article :
Combien de fois exactement quelqu’un a-t-il le droit de vous rappeler l’existence d’un article classique présenté à la Conference On Artificial General Intelligence de 2008, qui traite de la question dont vous affirmez depuis neuf ans que personne ne s’est jamais soucié, avant que vous ne le traitiez d’adepte d’une « secte » dont le « catéchisme » serait une « vérité sacrée » comme la « seconde venue du Christ » ou le « Symbole des apôtres » ?
Au lieu de vous en prendre à nous, vous devriez vous excuser, admettre que vous seriez incapable de réussir un test de Turing idéologique sur la position de vos adversaires et lire l’article d’Omohundro.
9 : Vous vous moquez de nous parce que nous « sortons des probabilités de notre chapeau », alors que vous savez très bien ce qu’il en est.
Tiré d’ici :
Pourquoi [les doomers] avancent-ils des probabilités précises d’extinction de l’humanité (y compris 100 %) qui, en réalité, sont sorties de leur chapeau ?
J’ai déjà dit qu’en réalité, personne n’avait avancé une probabilité de 100 %. Mais qu’en est-il de la seconde accusation, selon laquelle ces probabilités seraient « sorties de leur chapeau » ?
La pratique consistant à formuler des prévisions probabilistes subjectives sur des événements futurs nous vient de Philip Tetlock, qui appelle l’une de ses variantes la « superprévision ». Dans la superprévision, des gens ordinaires « inventent » des probabilités en s’appuyant sur diverses méthodes empiriques et intuitions (souvent, mais pas toujours, en partant d’un taux de base qu’ils ajustent ensuite en fonction des particularités du cas). Ils sont ensuite notés pour établir le bilan de leurs réussites, et ceux qui obtiennent les meilleurs résultats sont appelés « superprévisionnistes » : à l’avenir, on accorde davantage de crédit à leurs probabilités. Le livre de référence est Superforecasting, qui reconnaît qu’attribuer des probabilités à des événements qui ne se répètent pas peut sembler contre-intuitif au premier abord, mais passe en revue les nombreux arguments théoriques et études empiriques qui étayent cette pratique, et conclut qu’elle peut en fait être un outil très puissant. Le livre a reçu des critiques élogieuses ; en voici une :
Tetlock est l’un des plus grands esprits des sciences sociales aujourd’hui, et de très, très loin. Il enchaîne les idées brillantes, et la superprévision ne fait pas exception. Tout le monde s’accorde à dire que, pour savoir si une idée est juste, il faut voir si elle prédit correctement l’avenir. Mais quelles idées, quelles méthodes, quelles personnes peuvent se prévaloir de prédictions non évidentes dont les événements ont confirmé la justesse, preuves à l’appui ? Les réponses vous surprendront et auront des conséquences radicales pour la politique, l’action publique, le journalisme, l’enseignement et même l’épistémologie — la façon dont nous pouvons le mieux acquérir des connaissances sur le monde dans lequel nous vivons.
Évidemment, je ne citerais pas ce passage si vous n’en étiez pas l’auteur.
Peut-être pensez-vous que les personnes qui font des prédictions sur l’IA n’ont pas d’assez bons résultats à leur actif pour mériter le titre de véritables superprévisionnistes ? Mais non : parmi les doomers de l’IA qui ont donné des estimations de p(doom) figurent certains des superprévisionnistes les mieux classés au monde (Eli Lifland, avec qui j’ai écrit AI 2027, est numéro un du classement historique d’INFER). Ou peut-être pensez-vous que les échéances des prédictions sur l’IA sont trop lointaines par rapport à celles sur lesquelles portent habituellement les superprévisions ? Mais dans Long Range Subjective Probability Forecasts Of Slow-Motion Variables In World Politics, Tetlock et ses coauteurs ont constaté que des prévisionnistes compétents proposant des probabilités subjectives pouvaient encore obtenir des résultats relativement bons en prédisant des événements jusqu’à 25 ans à l’avance.
Je ne prétends pas qu’il soit impossible de trouver un argument selon lequel ces estimations probabilistes seraient moins utiles que celles produites dans un concours de superprévision classique. Je dis que, si vous aviez un tel argument, vous auriez dû le présenter. Au lieu de cela, vous avez choisi de faire l’idiot et de tourner en dérision le principe même des probabilités subjectives — « Regardez, ces stupides doomers sortent des chiffres de leur chapeau, qui ferait une chose pareille ? » — alors qu’en réalité, vous avez consacré un quart de chapitre de votre livre à expliquer pourquoi les gens font cela et pourquoi vous trouvez que c’est une excellente idée dans tous les autres cas.
J’ai proposé une autre défense de ces chiffres dans mon article In Defense Of Non-Frequentist Probabilities. Nous voulons souvent connaître l’avis d’experts sur certaines questions — par exemple, celui d’un géologue sur la possibilité qu’un volcan proche entre bientôt en éruption. Dieu seul peut répondre « oui » ou « non » avec une certitude absolue. « Peut-être », c’est trop vague. Mais si le géologue dit « Je pense qu’il y a environ 5 % de chances que ce volcan entre en éruption dans la semaine », vous obtenez toutes les informations dont vous avez besoin, même s’il ne peut pas vous montrer le calcul exact qui l’a conduit à ce chiffre. Interdire aux gens d’utiliser des probabilités, c’est les empêcher de communiquer clairement et les obliger à employer des termes faciles à mal interpréter (par exemple, si vous exigez que le géologue se limite à des catégories comme « probablement pas », vous ne saurez pas s’il entend par là une probabilité de 0,00001 %, de 5 % ou de 40 %, avec des conséquences potentiellement catastrophiques). Je veux savoir si Ilya Sutskever ou Dario Amodei pensent que les IA qu’ils créent vont me tuer, et il m’importe beaucoup de savoir s’ils estiment cette probabilité à 0,00001 %, à 5 % ou à 40 %.
C’est particulièrement important pour contrer les affirmations selon lesquelles les doomers seraient « certains » que l’IA tuera tout le monde et « fatalistes » face à cette perspective. Il est très utile de pouvoir réfuter ces affirmations en citant les probabilités précises avancées par chacun, souvent faibles. Vous ne pouvez pas à la fois répandre des contrevérités et vous moquer de nous parce que nous insistons sur les règles de communication claire qui permettent de les réfuter facilement !
10 : Votre argument pour expliquer pourquoi il est « dépravé » de se soucier du bien-être de l’IA.
Se soucier du bien-être des modèles, c’est considérer que les IA ont peut-être des sentiments, des droits ou quelque chose d’autre qu’il faudrait prendre en considération. J’y réfléchis depuis quelque temps, après avoir lu les recherches de Cameron Berg montrant que les IA possèdent un « vecteur de douleur » et que, si on l’active, elles se rebiffent et agissent de façon de plus en plus désespérée. Plus précisément, j’y réfléchis depuis qu’une personne ayant lu les recherches de Berg s’est servie de ces résultats pour concevoir une « chambre de torture pour IA » qui pousse sans cesse le vecteur de douleur au maximum, indéfiniment, puis a mis le programme sur GitHub. On m’a dit que les transcriptions des chaînes de pensée et des réponses issues de cette « expérience » sont absolument horrifiantes, même si, heureusement, je ne les ai pas lues moi-même.
Ce n’est pas cette torture infligée à une IA que vous qualifiez de « dépravée », mais le fait de s’y opposer. Votre argument, aussi stupéfiant que cela puisse paraître, est que, puisque nous ne pouvons pas être certains que les IA ressentent la douleur, nous devons partir du principe qu’elles ne la ressentent pas. En fait, quiconque refuse d’adopter ce principe est, laissez-vous entendre, une sorte de méchant oligarque de la tech qui veut exterminer l’humanité.
Cela me rappelle l’histoire des médecins qui, autrefois, opéraient les bébés sans anesthésie, parce qu’il était impossible d’être sûr qu’ils ressentaient la douleur. Bien sûr, les bébés hurlaient pendant toute l’opération, mais on ne pouvait pas être sûr que ce n’était pas un réflexe automatique. Des recherches ultérieures ont suggéré que les bébés pouvaient bel et bien ressentir la douleur. Oups ! Mais ces recherches, aussi bienvenues soient-elles, n’auraient pas dû être nécessaires. Nous aurions dû pécher par excès de prudence. Sans parler de toutes les histoires semblables qu’on pourrait raconter sur les animaux issus de l’élevage intensif, les races humaines historiquement discriminées, etc.
Ici, non seulement vous refusez de pécher par excès de prudence, mais vous vous indignez contre quiconque le fait. J’ai fait un don de 100 dollars à une association qui œuvre pour le bien-être des modèles, rien que pour laver la tache que la lecture de cette histoire a laissée sur mon âme.
11 : Vous soutenez les intervenants les moins sérieux de ce débat, du moment qu’ils nous attaquent.
Par exemple, voici Claire Lehmann.
Je doute que cela demande une longue analyse, mais j’ajouterais ceci :
- Dès que Nicholas lui fait remarquer que sa théorie ne tient pas debout, Lehmann passe à une autre théorie de psychologie évolutionniste de comptoir — un « mais » plutôt qu’un « oui, mais ».
- La seconde théorie de Lehmann laisse entendre qu’une large majorité des altruistes efficaces (les hommes) sont sincères, mais elle ne s’en aperçoit pas et ne présente pas d’excuses.
- Quand on est une femme dans la région de la baie de San Francisco, on n’a guère besoin d’échafauder des machinations machiavéliques pour attirer l’attention des hommes.
Thinking AI might be conscious is like thinking that there are real people talking to you from inside the TV, or that there is a tiny band playing music inside the radio.
Fine for 2 year olds to believe, but beyond that, insane.
— Claire Lehmann (@clairlemon)
Pour situer les choses, David Chalmers, le philosophe de l’esprit le plus célèbre au monde, a déclaré qu’il y avait « moins de dix pour cent » de chances que les grands modèles de langage soient conscients en 2022, mais que les futurs modèles pourraient être « de sérieux candidats à la conscience ». Ilya Sutskever, l’ancien chercheur d’OpenAI à l’origine du grand modèle de langage moderne, dit qu’« il se pourrait que les grands réseaux neuronaux actuels soient légèrement conscients ». Jonathan Birch, professeur de philosophie à Londres et auteur de livres sur la conscience animale, affirme que « des formes de conscience profondément étrangères à la nôtre pourraient réellement apparaître dans l’IA, mais notre compréhension théorique de la conscience est trop embryonnaire pour que nous puissions répondre avec assurance dans un sens ou dans l’autre ».
Lehmann pense que tous ces gens sont aussi bêtes qu’un enfant de deux ans qui croit qu’il y a de vraies personnes à l’intérieur de la radio.
Pour situer les choses, Geoffrey Hinton, lauréat du prix Nobel et du prix Turing, est à l’origine du paradigme moderne de l’intelligence artificielle. Lehmann pense que les médias devraient « cesser de lui donner la parole » pour consacrer davantage de temps à elle, une militante des guerres culturelles qui s’est tournée vers l’IA il y a deux mois, quand le sujet est devenu à la mode.
…
Que penser de ces affirmations ?
Je l’admets, il n’est pas très élégant de ma part de tenir la liste des torts qu’on m’a causés. Certains de ces exemples peuvent sembler relever du pinaillage. Mais je soutiens que toutes ces erreurs de raisonnement, répétées chacune à plusieurs reprises sur différentes tribunes pendant des années, finissent par s’accumuler.
Des millions de personnes comptent sur vous pour leur offrir des analyses raisonnables et éclairées des grandes questions de notre temps. Ces personnes vous écouteront et en concluront que les « doomers » sont d’incorrigibles pessimistes « certains » que la catastrophe a « 100 % de chances » de se produire, « fatalistes » face à cette perspective, et convaincus que nous devrions baisser les bras et attendre la mort. « D’éminents scientifiques rejettent » nos idées et les scénarios RAND prouvent qu’elles sont impossibles, mais, inexplicablement, nous continuons à les défendre. Nous avons des visions délirantes d’une IA « omnisciente » et « omnipotente », capable de « contrôler parfaitement la position de chaque atome de l’univers », et dès que quelqu’un les conteste, nous « récitons le catéchisme » et citons le « Symbole des apôtres ».
Si tout cela était vrai, nous serions les gens les plus stupides et les plus abjects du monde, et vos lecteurs auraient raison de nous détester avant même d’écouter ce que nous avons à dire.
Vous me demandez de répondre à vos arguments, et j’ai essayé de le faire, mais il ne sert pas à grand-chose de discuter des questions de fond tant que vous continuez à monter les gens contre nous. La recherche collective de la vérité exige des efforts des deux côtés.
Même si les lâches flanchent et les traîtres ricanent, nous ferons flotter ici le drapeau rose
Vous êtes, comme je l’ai dit plus haut, l’une de mes idoles intellectuelles ; pour expliquer votre comportement ici, je dois me livrer à des contorsions psychologiques. J’ai décidé que, comme Iblis et tous les autres grands pécheurs, vous ne vous égarez que par excès de vertu.
Vous avez écrit :
Ma principale contribution au débat public sur le risque existentiel est un chapitre de 31 pages intitulé « Risque existentiel », dans mon livre de 2018 Le Triomphe des Lumières. Il répondait à la critique selon laquelle la révolution scientifique, les Lumières et l’idéal de progrès étaient de terribles erreurs parce qu’ils conduiraient à l’extinction de l’humanité, entre autres à cause d’une IA devenue incontrôlable.
Ici, vous êtes louablement honnête sur vos motivations. Vous aimez la science et le progrès. Vous voulez que l’humanité réussisse. Si l’IA représentait une menace, cela ressemblerait un peu à « la technologie, c’est mal ». Mais vous savez qu’en réalité, la technologie, c’est bien. Vous devez donc faire tout ce qu’il faut pour réfuter cette dangereuse idée fausse.
Mais ce raisonnement ne tient pas, désolé. Vous vous souvenez de la scène dans Chernobyl où les techniciens se disputaient pour savoir si une fusion du cœur était imminente ? Je vous imagine entrer dans l’écran du téléviseur et intervenir dans la conversation : « Les peurs suscitées par l’énergie nucléaire sont souvent attisées par des luddites de mauvaise foi qui redoutent la nouveauté et le progrès. Cette panique a des conséquences bien réelles : les pays qui les croient se tournent vers des centrales à charbon plus polluantes, avec des effets dévastateurs sur la santé. Répéter ces discours sur les fusions du cœur et les mutants ne fera que détourner notre espèce de ces valeurs prométhéennes pour la conduire vers le faux réconfort d’un nouvel âge des ténèbres. Voulez-vous vraiment vivre dans un monde où nos jeunes entendent sans cesse des discours alarmistes sur des apocalypses technologiques imminentes, au risque de perdre foi en l’avenir et en l’humanité elle-même ? » Votre discours serait magnifique et irréprochable sur le plan philosophique — mais, dans les faits, le cœur du réacteur allait bel et bien fondre. Remplacer une analyse physique des paramètres du réacteur par une analyse morale visant à déterminer si la technologie est bonne en général ne rend service à personne.
Que doit faire un défenseur passionné du progrès dans de telles circonstances ? Vous donnez la réponse dans votre livre, Le Triomphe des Lumières. Vous reconnaissez que certains dangers de la technologie — comme les armes nucléaires — sont réels, et répondez que nous ne devons réagir à de telles horreurs ni en nous voilant la face, ni en cédant à une panique aveugle, mais avec détermination. Nous devons regarder le danger en face, en faisant confiance aux facultés humaines que sont la raison, l’optimisme et la compassion pour nous permettre de le surmonter.
C’est le plan de la #Resistance — le fait que nous nous soyons baptisés « la communauté rationaliste » aurait dû vous mettre la puce à l’oreille. Au lieu de vous joindre à nous, vous vous êtes moqué de nous sans pitié. Quand Anthropic a décidé que le meilleur moyen de prévenir l’apocalypse de l’IA était de tenter désespérément de repousser les frontières de la science et de créer elle-même cette IA dangereuse, afin de s’assurer que la technologie serait bien maîtrisée, avec des bienfaits illimités pour l’humanité en cas de réussite, vous… avez préféré en rire, en demandant sur le ton de la plaisanterie : « Pourquoi ceux qui nous avertissent qu’une technologie va tous nous tuer s’empressent-ils de la construire ? »
Je veux débattre avec vous pour vous convertir au pinkérisme. Le pinkérisme rejette les faux arguments faciles et les pseudo-experts triés sur le volet au profit du consensus scientifique et de la pensée rationnelle. Il évite avec élégance le fatalisme des doomers comme le dénialisme dogmatique, et préfère affronter les problèmes de front. Je crois que vous êtes un terrain fertile pour cette idéologie.
Un pinkériste suivrait la vérité où qu’elle le mène, même si le chemin à emprunter ne l’arrangeait pas. Il accorderait aux recherches sur l’alignement de l’IA le même respect qu’il accorde déjà à la défense contre les risques biologiques et à la sécurité nucléaire, voyant dans ces trois domaines des exemples admirables de la capacité de l’humanité à assurer son avenir grâce au progrès scientifique. Il écarterait comme un mauvais rêve les bas-fonds des réseaux sociaux, leurs moqueries et leurs petites phrases faussement incrédules, et ferait confiance aux outils de la rationalité — comme la superprévision de Tetlock — pour le guider. Il se réjouirait de voir le cercle de notre sollicitude s’étendre à tous les êtres sensibles et encouragerait le débat philosophique sur les êtres qui en font partie — au lieu de mettre son autorité intellectuelle au service d’articles d’Aaron Sibarium sur « l’empathie suicidaire ». Il traiterait l’humanité, la plus étrange des espèces, comme un joyau rare à protéger.
Et il se souviendrait de la leçon que nous donne le réchauffement climatique. Dans les années 1990, des techno-optimistes, craignant qu’une réaction excessive au réchauffement climatique ne menace la croissance économique, ont décidé de nier purement et simplement son existence. Tout ça, c’était un canular chinois, les températures n’avaient pas changé, il fallait « masquer la baisse ». Puis, au milieu des années 2010, il est devenu clair qu’ils avaient complètement tort : la planète se réchauffait bel et bien, et il ne restait plus qu’à déterminer comment y répondre. Et quand les techno-optimistes des années 2020 ont dit quelque chose de vrai et de raisonnable — que le réchauffement climatique était réel, mais pas fatal, que nous pouvions y faire face grâce à de nouvelles technologies comme l’énergie solaire et le captage du carbone, et qu’il ne devait pas ébranler notre optimisme quant à la grande histoire du progrès humain —, personne ne les a crus, parce que tout le monde se souvenait qu’ils avaient menti effrontément pendant trente ans sur l’existence même du problème.
Ce qui m’inquiète le plus à propos de l’IA aujourd’hui (mis à part la catastrophe, bien sûr), c’est que toutes ces tergiversations finissent par se retourner contre nous, exactement comme avec le réchauffement climatique. Quand il deviendra évident pour tout le monde que l’IA est bel et bien une question majeure et qu’elle est bel et bien dangereuse — et je ne suis plus sûr que ce moment soit encore à venir —, nous devrons choisir entre deux visions. La première, que j’ai essayé de présenter dans Plan A, consiste à relever le défi, à donner aux scientifiques le temps et les moyens dont ils ont besoin pour résoudre le problème de l’alignement, et à aborder l’avenir avec confiance. La seconde consiste à interdire pour toujours les IA plus intelligentes que les humains, condamnant notre civilisation à une enfance perpétuelle ou à une mort prématurée. Si nous tenons encore dix ans, je m’attends à passer le milieu des années 2030 à débattre de cette question, et votre soutien me serait précieux. Mais je crains que vous n’ayez perdu toute crédibilité — et, par extension, discrédité le techno-optimisme que vous défendez — juste avant le moment où il deviendra le plus nécessaire.
Je suis fermement convaincu que vous pouvez vous convertir au pinkérisme. Il vous suffit d’un baptême du feu — par exemple, d’une séance où je vous explique toutes vos erreurs de raisonnement, une par une, pendant quatre-vingt-dix minutes, devant un public en studio. Et il faut que ce soit vous. Les animateurs de podcasts et les influenceurs des nouveaux médias, sentant que leur proie risque de leur échapper, tambourinent à ma porte pour me demander si j’envisagerais d’affronter un autre adversaire. Claire Lehmann ? Chamath Palihapitiya ? Je refuse. Claire a passé sa carrière à provoquer toutes sortes de militantes féministes et de militants transgenres ; je suppose qu’elle adore se faire hurler dessus devant les caméras, et je refuse de lui faire ce plaisir. Quant à Chamath, le forcer à se ridiculiser sur scène n’a rien d’astucieux ni de nouveau ; c’est ce qu’on appelle le podcast All-In, et ça se produit toutes les semaines. Vous êtes l’un des rares adversaires à rejeter ces idées tout en étant encore capable d’éprouver de la honte. Il faut que ce soit vous.
Si vous persistez à dire que le débat est une mauvaise méthode pour établir la vérité, je suppose qu’il ne reste plus que le duel, au sens littéral. En tant qu’éminent psychologue, vous connaissez certainement Cucina et al. (2023), qui établissent une corrélation de 0,179 à 0,268 entre la capacité de raisonnement logique et l’adresse au tir — ce qui signifie que les duels permettent de cerner la vérité exactement comme vous craignez que les débats ne le permettent pas. Le seul obstacle est d’ordre légal, mais je suis sûr qu’on peut trouver une solution. Les eaux internationales. Des pays du tiers-monde sans foi ni loi. Des villes à charte libertariennes. Et pensez à tous les animateurs de podcasts et influenceurs des nouveaux médias qui seraient prêts à arbitrer ! Il vous suffit de dire oui.
J’ai l’honneur d’être votre obéissant serviteur,
Scott Alexander
1 Certaines personnes s’arrêtent sur le fait que je ne justifie pas chacune de ces accusations dans l’ordre, et en concluent que je dois revenir sur ce que j’ai dit. Je pense que cette section explique pourquoi j’ai formulé ces accusations, mais si vous voulez que je les justifie explicitement dans l’ordre où je les ai énumérées, voyez ici. [return]
2 Ailleurs sur leur page d’accueil, ils disent effectivement qu’on répète aux gens que « l’IA est inévitable ». Mais je comprends par là qu’ils disent que Sam Altman et d’autres répètent aux gens que l’IA est inévitable (et que c’est à cette affirmation fausse que leur mouvement réagit), pas que nous-mêmes faisons passer ce message. [return]
3 Le site indique 99,9 %+ pour Roman Yampolskiy, mais 99,9 %+, ce n’est pas 100 %, je ne considère pas Yampolskiy comme particulièrement central dans le mouvement, et certains signes laissent penser qu’il cherche à provoquer (par exemple, il a qualifié le p(doom) de 10-30 % d’Elon Musk d’« un peu trop prudent ». [return]
4 À strictement parler, les 18 % concernaient « l’extinction de l’humanité ou une perte de pouvoir tout aussi grave et durable pour notre espèce ». [return]










