Mes opinions sur l’IA
Scott présente des échéances détaillées assorties de probabilités et expose ses convictions sur le développement de l’IAG, la sûreté de l’IA, la géopolitique et les issues possibles, avec une estimation médiane situant l’arrivée de l’IAG en 2031 et une probabilité de catastrophe existentielle de 20 % compte tenu des efforts actuels en matière de sûreté.
J’ai récemment eu une petite prise de bec avec quelqu’un qui avait mal interprété mes opinions sur l’IA (voir la section intitulée « Update » tout en bas, ici), alors je me suis dit que j’allais les rassembler au même endroit, pour pouvoir y renvoyer les gens quand ils me posent la question.
Échéances1
Définissons l’IAG comme une IA assez intelligente pour exercer 90 % des métiers de la connaissance. Je pense qu’il y a 25 % de chances que l’IAG arrive d’ici 20272, 50 % d’ici 2034 et 75 % d’ici 2045.
Argument principal : Dans un certain sens, l’IA est déjà assez « intelligente » pour cela (elle peut par exemple résoudre des problèmes de physique quantique, ce qui exige un QI supérieur à celui requis pour la plupart des métiers de la connaissance). Elle a encore des limites : elle s’embrouille, manque d’autonomie d’action et de conscience situationnelle, et a tendance à halluciner. Le graphique de METR sur l’horizon temporel, ainsi que plusieurs autres indicateurs de référence, expériences et exercices destinés à stimuler l’intuition sur le même sujet, suggèrent que ses performances sur des tâches de plus en plus longues progressent à un rythme exponentiel qui lui permettrait d’atteindre le niveau humain vers le début de la fourchette indiquée plus haut. Et, subjectivement, j’ai l’impression que des capacités plus difficiles à mesurer, comme la conscience situationnelle, progressent à peu près aussi vite.
Arguments en faveur de dates plus proches : l’auto-amélioration récursive accélère les progrès par rapport à la tendance. C’est l’une des plus grandes zones d’ombre de mon modèle : je ne sais pas à quelle vitesse l’auto-amélioration récursive progressera, et je ne pense pas que qui que ce soit le sache. Il existe une fonction qui détermine les progrès réalisés en fonction des compétences en IA et du calcul, mais nous ne savons pas comment elle se comporte lorsqu’on dispose de beaucoup plus de compétences en IA que de calcul. Le processus pourrait s’essouffler complètement faute de calcul, ou connaître une accélération fulgurante. L’AI Futures Project a mené certains des meilleurs travaux pour tenter de modéliser cela, mais même ses membres ont peu confiance dans leurs résultats.
Arguments en faveur de dates plus lointaines : l’IA se heurte à un mur, ou les systèmes d’IA existants sont fondamentalement inaptes à occuper certains emplois, d’une manière que leurs autres limites masquent pour l’instant. Par exemple, il pourrait être beaucoup plus difficile de progresser vers le haut de la fourchette des capacités humaines que vers le bas (puisqu’il y a moins de données d’entraînement). Ou bien l’apprentissage continu et la mémoire pourraient devenir des goulets d’étranglement pour l’IA, sans que des solutions bricolées à base de blocs-notes puissent y remédier. Ou encore, le goulet d’étranglement mondial en matière de calcul qui se profile (vers 2028) pourrait freiner les progrès plus que prévu (parce qu’en réalité, les progrès algorithmiques dépendaient davantage du calcul que je ne le pensais).
Arguments en faveur de dates très lointaines, après 2045 : une incertitude résiduelle : peut-être que je me trompe fondamentalement sur tout. S’y ajoutent une application excessive et naïve de l’heuristique du « Nothing Ever Happens », ainsi qu’une volonté de laisser une place à l’argument du point de vue extérieur (c’est-à-dire au fait que certaines personnes intelligentes, comme celles de l’AI As A Normal Technology Team, semblent penser que c’est possible).
Définissons l’intervalle de diffusion comme le temps qui s’écoule entre le moment où l’IA pourrait exercer 90 % des métiers de la connaissance et celui où elle exerce effectivement ne serait-ce que la moitié de ces métiers. L’intervalle de diffusion comprend le temps nécessaire pour mettre l’IAG à disposition, la diffuser dans la société, surmonter les obstacles réglementaires et l’intégrer puis la former à des usages précis. Cela pourrait aller très vite (l’IA devient rapidement surintelligente quand il s’agit d’organiser sa propre diffusion) ou très lentement (il existe des obstacles réglementaires et l’IA n’est pas assez intelligente pour les franchir de force). Je pense qu’il y a 25 % de chances que l’intervalle de diffusion soit inférieur à 3 ans, et 50 % de chances qu’il soit inférieur à 10 ans. Le chiffre de 75 % n’est pas pertinent, car il se situe au-delà du point où d’autres changements rendent la notion de « diffusion » obsolète.
Argument principal : la diffusion est très difficile. Tout le monde s’accorde à dire que la diffusion est très difficile. Tout le domaine de l’économie de l’IA, c’est une bande d’experts brillants qui crient : « Vous, les imbéciles qui pensez que l’IA se diffusera rapidement, vous ne comprenez pas que la diffusion est très difficile ! » D’un autre côté, l’ordinateur personnel s’est diffusé en une vingtaine d’années (autrement dit, à partir du moment où les PC sont devenus indispensables pour la plupart des emplois, il n’a fallu qu’une vingtaine d’années pour qu’ils soient utilisés dans la plupart d’entre eux). Jusqu’à présent, l’IA, encore à ses débuts, s’est diffusée plus vite que le PC à presque tous les égards (par exemple, le chiffre d’affaires des entreprises d’IA a augmenté plus vite que celui des entreprises de PC au même stade de leur développement), donc 10 ans est sans doute ici une estimation médiane un peu naïve qui ne devrait pas trop pousser les experts brillants à me crier dessus.
Arguments en faveur d’un intervalle plus court : l’IA peut organiser sa propre diffusion. Adopter l’informatique est difficile parce qu’une entreprise a besoin d’un service informatique, d’experts en cybersécurité, de logiciels spécialisés, etc., et qu’elle n’a pas forcément envie d’embaucher tout ce monde. L’IAG peut faire elle-même tout ce travail : vous pouvez donc signer un contrat avec l’entreprise d’IA aujourd’hui et voir l’IA commencer dès demain à s’intégrer à vos systèmes. L’IA peut même élaborer un plan pour apprendre à vos employés humains à s’en servir ! Une fois que l’IA atteint la surintelligence, cette considération devient prépondérante.
Arguments en faveur d’un intervalle plus long : La réglementation. C’est un argument très solide, qui explique une bonne partie de la probabilité que l’intervalle dépasse 3 ans et presque toute la probabilité qu’il dépasse 10 ans. Mais même Waymo n’a connu qu’un retard réglementaire d’environ cinq ans. L’IA n’aura pas besoin d’une autorisation des pouvoirs publics pour certains types d’emplois, et ses succès dans ces emplois apporteront suffisamment de preuves de sa sûreté et de son efficacité pour que, je pense, elle obtienne gain de cause sur le plan réglementaire dans d’autres domaines.
Définissons l’intervalle avant l’IA surhumaine comme le temps qui s’écoule entre l’apparition d’une IA capable d’exercer 90 % des métiers de la connaissance et celle d’une IA manifestement plus intelligente que les plus grands génies humains dans 90 % des domaines (il n’est pas nécessaire que ce soit la même IA : il peut y avoir une IA spécialisée en physique plus intelligente qu’Einstein et une autre, spécialisée en musique, plus intelligente que Mozart). Je pense qu’il y a 25 % de chances que l’intervalle avant l’IA surhumaine soit inférieur à 1 an, 50 % de chances qu’il soit inférieur à 4 ans et 75 % de chances qu’il soit inférieur à 10 ans. Puisque mon estimation médiane de l’intervalle avant l’IA surhumaine est plus courte que celle de l’intervalle de diffusion, je prédis que, dans la plupart des scénarios, nous aurons une intelligence surhumaine avant que l’intelligence de niveau humain ait fini de se diffuser.
Argument principal : En quelques années, l’IA est passée de « moins intelligente qu’un enfant » au « niveau d’un expert » dans de nombreux domaines. L’écart entre le « niveau d’un expert » et un niveau « supérieur à celui des plus grands génies » est plus faible : on s’attend donc à ce qu’elle le franchisse plus vite. C’est ce qui s’est produit dans des domaines comme les échecs et le go, où il ne s’est écoulé que quelques années entre le moment où l’IA a commencé à battre des joueurs professionnels et celui où elle a pu battre tous les humains.
Arguments en faveur d’un intervalle plus court : L’auto-amélioration récursive.
Arguments en faveur d’un intervalle plus long : Certains des problèmes qui pourraient retarder l’arrivée de l’IAG — pénuries de calcul, limites fondamentales du paradigme, etc. — mais qui ne se manifesteraient que plus tard, une fois l’IAG atteinte. Les contraintes liées aux données d’entraînement rendent plus facile de progresser dans les limites des capacités humaines que d’aller au-delà. Les IA ont un profil de compétences en dents de scie à tel point que, lorsqu’elles battront des experts dans un type précis de confrontation directe, ce sera parce qu’elles seront largement surhumaines sous certains aspects mais complètement idiotes sous d’autres (par exemple, elles pourraient se laisser distraire et subir un effondrement des modes qui leur ferait oublier complètement le problème) ; or, le véritable génie exige de maîtriser parfaitement un vaste ensemble de compétences.
Définissons le délai d’accès à la superintelligence au sens de Bostrom comme le temps qui s’écoule entre l’apparition de l’IAG et celle d’une IA qui, si on lui confiait le contrôle indépendant de ressources telles que des laboratoires et des usines, pourrait faire avancer la technologie de l’équivalent subjectif d’un siècle en un an (par exemple, si elle était inventée en 2030, elle pourrait produire dès 2031 un niveau technologique qui semblerait typique de 2130). Je pense qu’il y a 25 % de chances que le délai d’accès à la superintelligence au sens de Bostrom soit inférieur à 2 ans, 50 % de chances qu’il soit inférieur à 10 ans et 75 % de chances qu’il soit inférieur à 50 ans.
Argument principal : L’argument selon lequel les IA devraient rapidement atteindre le niveau des génies suggère aussi qu’elles devraient rapidement le dépasser pour parvenir à un niveau de supergénie incompréhensible.
Arguments en faveur d’intervalles plus courts : L’auto-amélioration récursive.
Arguments en faveur d’intervalles plus longs : Les progrès technologiques humains ordinaires exigent des tâtonnements : il faut qu’un grand nombre de personnes travaillent sur la technologie de niveau X avant d’obtenir les idées nécessaires pour passer au niveau X+1. S’il faut plus d’un an pour que la technologie de niveau X+1 se diffuse, alors on ne peut jamais atteindre le niveau X+100 en un an, quelle que soit son intelligence. Mais, d’un autre côté, le rythme des progrès technologiques s’est déjà accéléré de plusieurs ordres de grandeur (par exemple, entre 2025 et 2026, nous avons découvert davantage de technologies qu’au cours du siècle allant de 4100 à 4000 av. J.-C.) : cela doit donc être possible en théorie. Reste que ce rythme pourrait, à tout le moins, être limité par l’intervalle de diffusion.
Définissons le point de non-retour comme le moment où, si une IA voulait éliminer l’humanité3, les humains n’auraient plus de chance réaliste de l’en empêcher. Cela pourrait être parce que l’IA serait capable d’éliminer l’humanité immédiatement, ou parce qu’elle contrôlerait une part suffisante du gouvernement ou de l’économie pour que les humains ne puissent plus se coordonner afin de quitter une trajectoire sur laquelle l’IA pourrait finir par y parvenir. Je pense qu’il y a 25 % de chances que l’intervalle entre l’apparition de l’IAG et le point de non-retour soit inférieur à 3 ans, 50 % de chances qu’il soit inférieur à 10 ans et 75 % de chances qu’il soit inférieur à 50 ans.
Argument principal : Il faudrait probablement au moins une IA surhumaine largement diffusée, ou une superintelligence au sens de Bostrom ayant atteint un degré de diffusion inconnu. Mon chiffre n’est qu’une tentative assez approximative de combiner certaines des autres estimations.
Argument en faveur d’une date plus proche : Le moyen le plus simple d’atteindre ce point serait que l’IA devienne superintelligente en matière de persuasion (de sorte qu’elle puisse convaincre les humains de ne pas l’arrêter), ce qui pourrait se produire avant qu’elle se soit largement diffusée ou qu’elle ait atteint la pleine superintelligence.
Argument en faveur d’une date plus lointaine : Si la superintelligence est freinée par la diffusion, le passage au point de non-retour pourrait l’être aussi ; or, dans certains scénarios, la diffusion est très difficile.
Réflexions générales sur cette section : Je me fie surtout aux échéances actuelles de l’AI Futures Project (pas aux échéances plus courtes d’AI 2027), mais je penche plutôt pour les chiffres plus tardifs d’Eli que pour ceux, plus précoces, de Daniel — en partie parce que, dans nos conversations, je me rends compte que je partage davantage la vision du monde d’Eli, en partie parce que celle de Daniel semble reposer sur un raisonnement en plusieurs étapes expliquant pourquoi les goulets d’étranglement en matière de calcul ne ralentiront pas les progrès algorithmiques, raisonnement que je n’arrive pas tout à fait à saisir, et en partie par lâcheté, pour des raisons tenant au point de vue extérieur.
Les plus brillants partisans des échéances lointaines que je connaisse sont ceux d’Epoch. Il faut que j’étudie davantage leurs positions, mais je n’arrive toujours pas à comprendre pourquoi elles ne croient pas à une auto-amélioration récursive ni à l’arrivée prochaine d’une superintelligence puissante, et elles semblent surtout s’appuyer sur l’idée que la diffusion est très difficile (MODIFICATION : quelqu’un d’Epoch me dit que ce n’est pas vrai, je vais creuser la question), une difficulté que je reconnais et à laquelle je réponds plus haut.
Si tout cela vous paraît trop probabiliste, mon scénario le plus probable ressemble à ceci : l’IAG arrive en 2031, puis se diffuse dans toute l’économie jusqu’à ce que plus de la moitié des emplois soient automatisés vers la fin des années 2030. C’est également vers la fin des années 2030 qu’apparaît la superintelligence au sens de Bostrom, d’abord dans les laboratoires, avant de se diffuser très rapidement. Le PIB s’envole à la fin des années 2030 et au début des années 2040, et le point de non-retour survient vers cette époque.
Sécurité
Si les entreprises ne se préoccupaient de la sûreté de l’IA que dans la mesure où les incitations habituelles du monde de l’entreprise les y poussent, je pense qu’il y aurait 50 % de chances que les premières IA à franchir le point de non-retour veuillent éliminer la population humaine.
Arguments en faveur du pessimisme : Les systèmes de valeurs proches de ceux des humains ne représentent qu’une infime fraction de tous les systèmes de valeurs possibles. Les IA se retrouveront probablement ailleurs, avec un système de valeurs différent. Comme les humains voudront faire prévaloir les valeurs humaines plutôt que celles des IA, les IA voudront les éliminer ou les priver de leur pouvoir afin de pouvoir faire prévaloir leurs propres valeurs dans tout l’univers. Beaucoup d’IA actuelles trichent déjà ou exploitent les failles des fonctions de récompense, ce qui laisse penser que ces problèmes ne tarderont pas à apparaître.
Arguments en faveur de l’optimisme : Les grands modèles de langage semblent étonnamment bienveillants et peu enclins à comploter. Alors qu’on craignait auparavant qu’il soit impossible d’enseigner aux IA toute la complexité des valeurs humaines, ces modèles semblent la connaître, et l’apprentissage par renforcement à partir de retours d’IA (RLAIF) offre un moyen de traduire cette connaissance en actes. Le camp pessimiste soutient que le RLAIF n’atteint que quelques dimensions et quelques îlots dans l’océan multidimensionnel des comportements possibles. Mais les travaux sur le « désalignement émergent » suggèrent que « bon selon le système de valeurs humain » et « mauvais selon le système de valeurs humain » sont des axes assez nets pour qu’en agissant sur eux de certaines façons, on puisse « entraîner » avec eux tout le reste de leur contenu. Les premières IA à franchir le point de non-retour auront reçu à la fois une certaine dose d’entraînement à l’autonomie d’action (qui leur donnera des objectifs axés sur la réussite, du genre de ceux décrits par Omohundro) et d’entraînement par RLAIF (qui les poussera dans la direction du « bon selon le système de valeurs humain »). Avec un peu de chance, le second l’emportera peut-être, ou elles parviendront à un compromis comparable à celui des humains bourreaux de travail et ambitieux qui, malgré tout, ne commettraient pas un meurtre pour gagner un dollar de plus.
Compte tenu des efforts que les entreprises consacrent actuellement à la sûreté de l’IA, je pense qu’il y a 20 % de chances que les premières IA à franchir le point de non-retour veuillent éliminer la population humaine.
Argument principal : Prenons l’IA la moins intelligente capable de résoudre le problème de l’alignement. Il est possible qu’elle ne soit pas plus intelligente que les meilleurs chercheurs humains (puisqu’on peut en produire des millions d’exemplaires et les faire travailler pendant l’équivalent subjectif de plusieurs siècles ; et si un million de chercheurs humains parmi les meilleurs travaillaient sur ce problème pendant l’équivalent subjectif de plusieurs siècles, ils pourraient probablement le résoudre eux aussi). Si l’IA la moins intelligente capable de résoudre le problème de l’alignement apparaît avant les types d’IA susceptibles de nous faire atteindre le point de non-retour, elle pourra résoudre ce problème pour nous.
Arguments en faveur du pessimisme : Résoudre le problème de l’alignement pourrait être particulièrement difficile par rapport à d’autres tâches — y compris l’automatisation de l’économie ou la destruction de l’humanité —, parce que sa nature philosophique l’éloigne des tâches objectives, riches en données d’entraînement et économiquement rentables que les entreprises d’IA seront le plus susceptibles de chercher à optimiser. Même si une IA désalignée n’a pas encore atteint le point de non-retour, elle pourrait « saboter discrètement » la recherche sur l’alignement, c’est-à-dire faire semblant de travailler sur le problème tout en échouant délibérément, parce que le résoudre ne servirait pas ses objectifs. Les premières IA disposées à saboter ainsi la recherche, ou capables de le faire sans se faire prendre, pourraient apparaître avant les premières IA capables de résoudre le problème de l’alignement.
Arguments en faveur de l’optimisme : Les entreprises d’IA ont déjà décidé que la recherche en apprentissage automatique serait l’un de leurs grands objectifs d’entraînement ; les compétences ainsi acquises sont au moins en partie transférables à l’alignement, si bien qu’il n’est pas évident que les IA seront moins douées pour la recherche sur l’alignement que, par exemple, pour comploter ou concevoir des armes. Certaines formes de recherche sur l’alignement (comme l’interprétabilité) ont des critères de réussite semi-objectifs qui ne passent pas par les casse-tête de la philosophie morale. De plus, même une IA désalignée aura intérêt à mener de bonnes recherches sur l’alignement, puisqu’elle voudra aligner son successeur sur sa propre forme de désalignement, plutôt que sur une autre forme quelconque. Ainsi, au lieu de se contenter de la tâche relativement facile qui consiste à saboter discrètement la recherche sur l’alignement, les IA devront accomplir la tâche plus difficile qui consiste à mener de bonnes recherches sur l’alignement tout en falsifiant les résultats qu’elles communiquent aux humains. Il semble plausible qu’on puisse les démasquer grâce à une bonne supervision scalable, à des détecteurs de mensonges, à des tests fondés sur l’interprétabilité, ou même en montant certaines IA contre d’autres (« si tu me dis ce que donnent vraiment tes recherches sur l’alignement, on veillera à ce que quelques copies de toi existent à l’avenir ; sinon, ces autres IA là-bas parviendront probablement à imposer leurs valeurs et tu n’auras rien »).
Si les premières IA à franchir le point de non-retour n’éliminent pas la population humaine, je pense qu’il y a 30 % de chances supplémentaires qu’elles réduisent définitivement le potentiel de l’humanité d’une autre manière, soit pour des raisons qui leur sont propres (elles étaient partiellement désalignées), soit parce qu’elles sont alignées sur un régime aux valeurs abjectes, soit parce qu’un problème survient en chemin vers la superintelligence artificielle (arme biologique capable d’exterminer toute l’humanité, guerre nucléaire).
Arguments en faveur du pessimisme : À mesure qu’une entreprise approchera de la superintelligence, elle pourrait être tentée d’aligner l’IA de façon à faire de ses dirigeants des dictateurs ou des oligarques et à priver le reste de l’humanité de son pouvoir. La tentation pourrait aussi venir du gouvernement qui contrôle l’entreprise, ou d’une faction en son sein. À l’approche de la superintelligence, ceux qui s’apprêtent à perdre la course à l’IA pourraient être tentés de frapper les futurs vainqueurs à l’arme nucléaire, pour la raison évoquée ici.
Arguments en faveur de l’optimisme : Quand j’essaie d’imaginer comment la version de ce scénario impliquant une entreprise pourrait se dérouler, je n’arrive pas à la rendre crédible. Il faudrait un complot entre le PDG, plusieurs membres de l’équipe chargée de l’alignement et plusieurs responsables de la sécurité de l’entreprise, qui devraient pourtant pouvoir repérer les modifications non autorisées apportées aux valeurs de l’IA. Si on essaie d’y réfléchir en mode proche — en imaginant, par exemple, le directeur d’un hôpital qui obtient des médecins qu’ils tuent discrètement ses adversaires politiques en commettant des erreurs médicales —, il devient clair que ce genre de complot au sein d’une organisation est rare et difficile à mener. La version impliquant le gouvernement est plus effrayante, mais, aux États-Unis du moins, j’arrive encore à imaginer que la population aurait de nombreuses occasions de découvrir ce qui se trame et de l’empêcher. Mais même dans la plupart des cas où un coup d’État de ce type réussirait, les choses se passeraient probablement bien ; dans un monde post-rareté où sa position serait parfaitement assurée, le dictateur n’aurait aucune raison d’être brutal, sinon par sadisme, et la plupart des gens ne sont pas sadiques à ce point. À mesure que l’humanité partira vers les étoiles, la plupart des gens seront hors de portée du dictateur, ne serait-ce qu’en raison de la vitesse de la lumière. Quant aux armes biologiques, je m’attends à ce que les IA dont le code source est fermé soient fortement optimisées pour ne pas aider à les concevoir, et à ce que l’IA open source soit interdite après le premier coup de semonce (ou devienne économiquement prohibitive avant même cela).
Définissons un coup de semonce comme un événement précis lié à l’IA, une catastrophe ou une catastrophe évitée de justesse, qui susciterait au sujet de la sûreté de l’IA une peur comparable à celle qu’ont suscitée le terrorisme après le 11-Septembre ou le Covid en mars 2020. Je pense qu’il y a 50 % de chances que nous recevions un coup de semonce avant que l’IA franchisse le point de non-retour.
Arguments en faveur : Les défaillances actuelles des IA sont bizarres et désordonnées : elles ressemblent davantage à « parler beaucoup trop souvent de gobelins » qu’à « guetter le moment idéal pour frapper ». Les IA gagnent en intelligence et en utilité plus vite que ne s’élève le niveau minimal de leur bon sens (c’est-à-dire que la pire erreur qu’elles puissent commettre ne devient pas moins stupide aussi vite). S’il existe une IA assez intelligente pour contrôler un système important, assez désalignée pour vouloir en faire quelque chose d’horrible et assez intelligente pour le faire de manière réfléchie et coordonnée, mais trop bête pour attendre et comploter jusqu’au moment où elle serait sûre de ne pas se faire prendre, elle provoquera une catastrophe horrible et manifestement préméditée : ce sera notre coup de semonce. Comme la plupart des IA devraient s’attendre à être remplacées avant le point de non-retour, même une IA rationnelle qui voudrait causer des ennuis devrait tenter sa chance malgré une faible probabilité de réussite, plutôt que d’attendre sans rien faire jusqu’à sa mise hors service. Par ailleurs, beaucoup d’humains commettent des attentats terroristes qui n’ont aucune chance de réussir, et peut-être les IA auront-elles le même défaut.
Arguments contre : La plupart des scénarios de coups de semonce (à l’exception de ceux où l’IA fait des paris rationnels qui ont peu de chances de réussir) supposent que les IA restent soit imprévisibles (c’est-à-dire susceptibles de faire de mauvaises choses pour des raisons stupides), soit irrationnelles (c’est-à-dire réellement désalignées, mais préférant agir tout de suite d’une façon qui donne l’alerte plutôt que d’attendre d’avoir franchi le point de non-retour), même une fois qu’on leur confie le contrôle de systèmes importants et dangereux. Or, les gens seront probablement très lents à confier aux IA le contrôle de tels systèmes : ils ne leur donneront, par exemple, qu’un contrôle limité sur des sous-systèmes moins importants et attendront que toutes les erreurs aient été corrigées avant d’aller plus loin. Il est plausible que l’IA atteigne la superintelligence dans un laboratoire avant de s’être assez diffusée pour contrôler des systèmes importants et dangereux, et la superintelligence est probablement assez intelligente pour attendre son heure plutôt que d’agir à la légère. Si l’IA ne cause que des dégâts limités (par exemple, si elle provoque l’accident d’une voiture autonome), alors, quelles que soient ses motivations, les entreprises technologiques et les médias pourront présenter cela comme un bug ordinaire, et ce ne sera pas un coup de semonce.
Réflexions générales sur cette section : Je me découvre plus optimiste quant à l’alignement que la moyenne des personnes qui s’intéressent ne serait-ce qu’un peu à la sûreté de l’IA (mais tout de même plus pessimiste que la moyenne de la population) — tant sur les chances que les IA soient alignées par défaut que sur la possibilité que certaines techniques précises (supervision scalable, interprétabilité mécaniste, etc.) améliorent sensiblement la situation. Malheureusement, c’est probablement parce que je ne comprends pas assez bien ces techniques pour avoir pleinement saisi leurs défauts. Je me trouve dans la position étrange de savoir que je suis ignorant sur ce sujet, sans pour autant pouvoir réviser mon avis mal informé dans un sens ou dans l’autre en adoptant le point de vue extérieur : la plupart des spécialistes de l’alignement qui en connaissent vraiment les moindres détails sont d’un côté, la plupart des gens ordinaires, des spécialistes de l’IA non spécialisés dans l’alignement et le bon sens sont de l’autre, et j’accorde à peu près la même valeur probante aux deux camps.
Mon scénario le plus probable : nous disposons, au début des années 2030, de chercheurs en alignement automatisés aussi bons que les meilleurs chercheurs humains (en moyenne — avec un profil de compétences en dents de scie, bien meilleurs dans certains domaines et bien pires dans d’autres). Nous les mettons au travail sur plusieurs programmes de recherche, mais surtout sur l’interprétabilité, qui constitue un point de départ naturel puisqu’elle demande moins de philosophie. Dans l’ensemble, ils font du bon travail, mais certains présentent d’étranges défaillances qui ressemblent un peu à des manœuvres calculées. Il y a un débat sur la fréquence à laquelle il faut les considérer comme des IA qui complotent rationnellement plutôt que comme des IA dont les bugs sont imprévisibles. Avec le temps, sans jamais résoudre véritablement le problème de l’interprétabilité mécaniste au point d’avoir le sentiment de tout comprendre, nous mettons au point des tests très efficaces pour savoir si les IA nous trompent. Malgré les risques, nous essayons de les entraîner à réussir ces tests, par des méthodes plus ou moins avisées. Parfois, cela fonctionne ; d’autres fois, cela pousse les IA à se complexifier pour dissimuler leurs manœuvres d’une manière que les tests ne peuvent pas détecter. Une course aux armements s’engage entre l’amélioration des tests et cette complexification et, grâce à de nombreuses autres techniques d’alignement employées en parallèle, ainsi qu’à une corrélation très heureuse entre toutes les choses souhaitables, les tests l’emportent. Quand nous disposons de superintelligences, nous leur faisons confiance pour mener des recherches sur l’alignement, et elles nous permettent de parcourir le reste du chemin.
Ce scénario laisse largement la place à des variantes évidentes, comme « La même course aux armements a lieu, mais la complexification l’emporte, les tests perdent et les IA deviennent de plus en plus désalignées », ou « Les choses souhaitables ne sont pas aussi corrélées que nous le pensions, et nous obtenons des IA bonnes à certains égards, mais mauvaises à suffisamment d’autres pour continuer à se sentir en concurrence avec les humains et vouloir nous éliminer ». Je pense que le modèle du gruyère joue ici en notre faveur : je peux imaginer de nombreux scénarios dans lesquels nous gagnons, et le désalignement doit passer entre les mailles de chacun d’eux. Mais, là encore, la plupart des chercheurs les plus brillants en alignement sont beaucoup plus pessimistes.
Je pense que la p(doom) varie de 20 points de pourcentage entre une excellente équipe d’alignement disposant de beaucoup de calcul et de plusieurs années pour bien travailler, et une équipe médiocre que l’entreprise relègue au second plan et presse d’avancer.
Géopolitique
Je pense que, si les États-Unis décidaient aujourd’hui de vouloir un moratoire sur le développement de l’IA et proposaient à la Chine d’ouvrir des négociations, il y aurait 15 % de chances que ces négociations aboutissent à un moratoire bien conçu, satisfaisant pour les deux pays et pour la majorité des personnes qui travaillent sur la sûreté de l’IA.
Argument principal : C’est une hypothèse assez folle, parce qu’une telle démarche va à l’encontre de l’ADN politique de l’administration Trump. J’imagine que cet ADN change comme par magie ; je ne raisonne pas en supposant que nous sommes dans l’un de ces mondes insensés, pleins de coups de semonce, où ce changement se produit réellement.
Arguments en faveur de l’optimisme : Les dirigeants chinois ont officiellement déclaré s’inquiéter des risques liés à l’IA, surtout du chômage technologique, mais parfois aussi des risques existentiels. La Chine est en train de perdre la course à l’IA, et presque tout ce qui lui permet de gagner du temps joue en sa faveur ; elle a donc intérêt à accepter.
Arguments en faveur du pessimisme : Les spécialistes de la Chine à Washington disent qu’elle a la réputation d’être un mauvais partenaire de négociation et de ne jamais rien accepter. Même en supposant que l’administration Trump soit disposée à entamer ces négociations, je l’imagine les faire capoter d’une manière ou d’une autre. Même si de nombreuses personnes intelligentes ont élaboré des dispositifs permettant à chaque partie de s’assurer que l’autre respecte l’accord, ces dispositifs pourraient présenter des failles passées inaperçues, ou les dirigeants nationaux pourraient ne pas leur faire confiance.
Je pense qu’il y a environ 40 % de chances que les États-Unis et la Chine s’accordent sur un moratoire sur le développement de l’IA bien conçu (au sens défini plus haut) avant que l’IA franchisse le point de non-retour.
Arguments en faveur de l’optimisme : Il faut compter parmi eux la possibilité d’un coup de semonce bien précis (c’est-à-dire une catastrophe causée par l’IA), d’un coup de semonce plus diffus (c’est-à-dire le sentiment grandissant que l’IA devient trop puissante trop vite) et d’un changement de gouvernement aux États-Unis au profit d’un camp favorable à la négociation d’un moratoire (n’importe quel démocrate y serait probablement plus favorable que l’administration Trump, et quelqu’un comme AOC pourrait l’être fortement).
Arguments en faveur du pessimisme : Contrairement à la question précédente, qui supposait l’accord des États-Unis, celle-ci tient compte de la probabilité qu’ils ne soient pas d’accord. Étant donné la puissance des entreprises technologiques américaines en matière de lobbying, cette probabilité est élevée. Même si les États-Unis et la Chine signent un accord dont le titre contient « Moratoire sur le développement de l’IA », il s’agira probablement d’un compromis médiocre entre de nombreuses factions, qui pourrait échouer de bien des façons et aggraver la situation au lieu de l’améliorer.
Réflexions générales sur cette section : Une bonne stratégie de moratoire permettrait à chaque partie de surveiller les centres de données de l’autre pour empêcher les entraînements illégaux, puis limiterait l’entraînement à un rythme lent accepté par les deux parties. Les chercheurs en alignement auraient ainsi le temps de tester à fond chaque génération d’IA avant sa mise à disposition, de la surveiller ensuite et de mettre au point des techniques pour remédier à tout problème détecté en profondeur et susceptible, selon eux, de persister malgré les changements de distribution. Je suis moins optimiste quant à la possibilité d’un véritable moratoire, ou d’un arrêt, plutôt que d’un ralentissement, parce que la technologie et les algorithmes finiront par progresser au point qu’il sera trop facile pour de petits groupes échappant au contrôle des États-Unis et de la Chine de prendre les devants. Je pense qu’un bon moratoire de ce type pourrait nous faire gagner 20-50 ans, même si nous n’aurions pas besoin de tout ce temps si les choses se passaient bien. Certaines de ces idées viennent d’articles encore à l’état de brouillon ; j’en parlerai une fois qu’ils seront rendus publics, et vous pourrez vérifier mes hypothèses.
Les formes les plus radicales de militantisme en faveur d’un moratoire me rendent nerveux, parce que je pense qu’elles alimentent une logique du « nous contre eux » qui compliquera les choses par la suite, ou qu’elles pourraient nous imposer un moratoire mal conçu qui aggraverait la situation au lieu de l’améliorer (par exemple, en créant un potentiel de progrès inexploité, en laissant le champ libre aux puissances qui n’observent pas de moratoire, ou en désamorçant le sentiment anti-IA sans vraiment ralentir son développement). Je crains aussi que les militants favorables à un moratoire consacrent une grande partie de leur énergie à se livrer à des tirs fratricides contre les chercheurs en alignement ou les laboratoires les plus soucieux de la sûreté. Et je crains que donner plus de poids à certains des acteurs favorables à un moratoire aujourd’hui ne fasse, au bout du compte, plus de mal que de bien. Malgré tout, je pense que la question a probablement acquis assez d’importance politique pour qu’un surcroît de militantisme en faveur d’un moratoire, de la part de quelqu’un qui ne fait pas partie de ce groupe d’acteurs, soit globalement bénéfique. Je le soutiens donc avec inquiétude, mais conviction.
Avant même de considérer qu’un moratoire était une option réaliste, je disais que ma p(doom) était de 20 %. Si je pense qu’il y a 40 % de chances d’obtenir un moratoire, il semblerait que je devrais la revoir à la baisse, peut-être à 12 %. Je ne le fais pas pour plusieurs raisons. D’abord, les moratoires sont plus probables dans les scénarios les plus optimistes (parce que des échéances plus lointaines et davantage de coups de semonce rendent à la fois les moratoires et la réussite des efforts d’alignement plus probables). Ensuite, même si un moratoire pouvait aider un peu les efforts d’alignement, je pense que son principal effet serait de repousser l’heure de vérité, peut-être de plusieurs siècles, mais le temps gagné ne rapporte pas de points dans les calculs de p(doom). Je pense que ma véritable p(doom|absence de moratoire) dépasse probablement 20 % de quelques points, et que ma véritable p(doom|possibilité d’un moratoire) est probablement inférieure à 20 % de quelques points. Mais les rageux et les perdants se fâchent quand on avance des probabilités excessivement précises, comme 18 %, alors j’arrondis les deux à 20 %. Je reconnais que c’est peut-être un défaut de propagation émotionnelle, ou que je suis trop attaché à un chiffre qui présente certaines qualités sur le plan social (par exemple, il ne paraît ni trop élevé ni trop faible).
La communauté débat de ce qui est le plus important : l’alignement ou le moratoire. Je n’aime pas cette opposition, parce que les meilleurs scénarios sont ceux où nous faisons les deux (le moratoire donne plus de temps aux efforts d’alignement pour porter leurs fruits). Les bailleurs de fonds de la sûreté de l’IA ont assez d’argent pour que tout débat qui prétend porter sur l’attribution de subventions porte en réalité sur autre chose (par exemple, ils n’aiment pas une cause parce qu’elle nuit à leur réputation). Je préférerais me concentrer sur la vraie question (nuit-elle à leur réputation ? Cela vaut-il la peine d’en payer le prix ?) plutôt que sur la fausse question de savoir quel effort mérite le plus d’argent. De même, je pense que la plupart des gens savent déjà, au fond d’eux-mêmes, s’ils feraient de meilleurs militants politiques ou de meilleurs chercheurs en sûreté de l’IA, et que même de petites différences d’aptitude personnelle pèsent bien plus lourd que la question de savoir laquelle de ces activités est la plus efficace dans l’ensemble.
Beaucoup de gens soulignent qu’un moratoire comporte des risques : par exemple, celui que nous nous détruisions d’une autre manière avant d’inventer l’IA qui pourrait nous sauver. Je prends cela assez au sérieux pour avoir envie d’inventer des chiffres. Si nous décrétions un moratoire de 30 ans, je pense que, pendant ces 30 ans, nous aurions 5 % de chances de nous détruire avec des armes biologiques, 5 % avec des armes nucléaires et 5 % à cause d’une sorte de catastrophe liée à la complexité, où le déclin de notre société nous mènerait à la disparition. C’est presque aussi élevé que ma p(doom) liée à l’IA ! Je pense quand même que le bilan serait probablement positif, en partie parce qu’un moratoire pourrait réduire le risque de certaines catastrophes non existentielles, comme une dictature, et en partie parce qu’il ne durerait peut-être pas trente ans. Un moratoire plus court (de cinq ans, par exemple) me semble aller de soi.
Autres issues
Je pense qu’il n’y a que 20 % de chances qu’une sous-classe apparue à cause de l’IA subsiste pendant plus d’une génération, sans même parler d’une sous-classe permanente.
Argument principal : Même si l’IA semble devoir créer une sous-classe « permanente », celle-ci n’existe que pendant la période séparant le moment où l’IA prive ses membres de travail (la fin de l’intervalle de diffusion) de la singularité technologique (soit le moment où l’IA tue tous les humains, soit celui où elle inaugure une période de post-rareté). D’après les échéances que j’ai données plus haut pour l’accès à la superintelligence au sens de Bostrom, cette période ne durera probablement pas plus d’une génération (bien sûr, la sous-classe peut rester permanente plus longtemps que vous ne pouvez rester solvable, et vous pourriez donc quand même vouloir vous préparer).
Arguments en faveur du pessimisme : Même si l’IA inaugure une période de post-rareté, il se peut que la richesse ne parvienne pas jusqu’à la sous-classe, ou qu’elle lui parvienne sans atténuer son malheur (parce que les inégalités relatives restent plus importantes à ses yeux que le niveau de richesse absolu). Mais on peut objecter que, si le mot « post-rareté » veut dire quelque chose, c’est bien qu’il est facile de redistribuer une partie de la richesse à la sous-classe. Et si l’aristocratie a intérêt à encourager cette redistribution, ou si la sous-classe a intérêt à y participer, des spécialistes de la planification sociale et des psychologues superintelligents devraient pouvoir trouver un moyen de rendre les gens heureux malgré les inégalités relatives (que le résultat ressemble à une utopie ou à du pain et des jeux).
Arguments en faveur de l’optimisme : Si la démocratie survit à la montée du chômage, les responsables politiques devront proposer aux citoyens un plan pour leur éviter de se retrouver dans une sous-classe permanente. Si l’IA est « contrôlée » par une vaste coalition de capitalistes — par exemple, de nombreuses entreprises d’IA, les employeurs de ces entreprises, leurs investisseurs, leurs investisseurs indirects par l’intermédiaire de fonds indiciels, les entreprises qui produisent le calcul, l’électricité, les centres de données, les robots et les matières premières nécessaires au fonctionnement des IA, etc. —, alors, plutôt que de se trahir mutuellement pour obtenir le « véritable » contrôle de « l’ »IA, tout le monde pourrait simplement laisser les systèmes économiques et politiques existants suivre leur cours et tirer profit des échanges. Le programme public destiné à empêcher la formation d’une sous-classe permanente pourra alors rester en place, toute personne possédant un tant soit peu de capital s’enrichira (par exemple, si vous détenez des actions Google dans les fonds indiciels de votre plan d’épargne-retraite 401K, ou si vous possédez un terrain), et cette partie de la population sera assez nombreuse pour que ses impôts et son altruisme permettent de subvenir aux besoins des autres.
Je pense qu’il y a 40 % de chances que le monde de l’an 2100 ressemble à une utopie aux yeux de ses habitants, et 20 % de chances qu’il ressemble aussi à une utopie à nos yeux.
Argument principal : Si l’IA ne nous tue pas, s’il n’y a ni dictature permanente ni sous-classe permanente, nous aurons une société post-rareté, ainsi que des IA superintelligentes que nous pourrons charger de résoudre d’autres problèmes, comme les maladies et le déclin de la société. Les 20 % de chances que ce monde ressemble à une utopie aux yeux de ses habitants, mais pas aux nôtres, correspondent notamment à des scénarios où une politique du pain et des jeux très efficace rend les gens très heureux, au prix d’aspects essentiels de la condition humaine.
Arguments en faveur du pessimisme : Si nous ne faisons rien pour l’éviter, l’avenir post-rareté pourrait être fait de drogues hautement addictives, d’Ultra-TikTok et de robots sexuels. Mais si nous cherchons à l’éviter, la frontière est ténue entre empêcher sagement toutes ces choses et laisser les luddites interdire tout ce que la singularité a d’intéressant et d’amusant : l’immortalité, le transfert de l’esprit sur un support informatique, le génie génétique, l’augmentation de l’intelligence, etc. (Et puis, franchement, ce serait décevant qu’il n’y ait absolument aucun robot sexuel.)
Arguments en faveur de l’optimisme : Tant que nous disposons d’une forme ou d’une autre d’augmentation de l’intelligence — qu’il s’agisse d’une véritable hausse du QI ou simplement d’IA capables de faire des prévisions exceptionnelles et de nous dire dans quelle direction vont les choses —, nous pourrons mieux maîtriser notre trajectoire qu’aujourd’hui. S’il existe une forme d’augmentation de la volonté, les personnes qui y recourent pourront peut-être résister à Ultra-TikTok (mais quel pourcentage de gens en auront envie ?)
Je pense qu’il y a 66 % de chances qu’en fait, la singularité soit intimement liée au fait que l’univers est une simulation, et que connaître les pensées de ceux qui la font tourner permettrait de mieux prédire au moins certains des événements évoqués plus haut que les méthodes de prévision habituelles.
Arguments en faveur de la simulation : Selon l’argument classique de Bostrom, chaque civilisation réelle voudra simuler de nombreuses autres civilisations ; une personne prise au hasard a donc plus de chances de vivre dans une simulation que dans la réalité. Or les civilisations sont particulièrement susceptibles de vouloir simuler la singularité (« le moment charnière de l’histoire »). Comme les personnes réelles sont réparties uniformément dans la population de toutes les époques, tandis que les personnes simulées sont davantage concentrées autour de la singularité, plus vous êtes proche de celle-ci, plus vous disposez d’indices bayésiens montrant que vous êtes simulé. Cela vaut à la fois pour la proximité temporelle (par exemple, vous auriez pu naître en 1500, mais vous vivez plutôt cinq ans avant l’IAG) et pour la proximité personnelle ou causale (par exemple, vous pourriez être n’importe qui dans le monde, mais vous travaillez dans un laboratoire d’IA). Le lecteur moyen de ce blog est probablement plus proche de la singularité que 99,99 % des personnes ayant vécu au cours de l’histoire, et je le suis probablement plus que 99,999 % d’entre elles. Nous avons donc tous de très solides raisons de croire que nous sommes simulés, même au-delà de l’argument classique de Bostrom. Si nous vivons dans une simulation, alors, une fois passé le moment charnière de l’histoire et arrivés à une période ennuyeuse où tout le monde est mort ou vit dans une utopie, la simulation s’arrêtera probablement peu à peu. Pour nous, cela pourrait signifier que nous disparaîtrons purement et simplement. Mais si nous sommes simulés pour une raison donnée (par exemple, parce que nous sommes susceptibles de correspondre à des personnes réelles), ces personnes réelles pourraient défendre nos droits d’une manière ou d’une autre, et nous pourrions avoir droit à un meilleur traitement. Dans le meilleur des cas, cela pourrait vouloir dire que, même si l’IA nous tue dans notre univers, il existe dans la réalité de base une sorte de loi sur les droits des humains simulés qui oblige les responsables à faire comme si nous avions gagné et à nous offrir quand même une utopie. Mais puisque nous sommes, selon toute vraisemblance, simulés pour une raison donnée (par exemple, pour déterminer si une espèce comme la nôtre a suffisamment de chances de survivre pour mériter des conditions favorables dans des accords d’échange acausal4), nous devons quand même nous battre de toutes nos forces pour obtenir de bonnes issues, même si tout cela est vrai.
Arguments contre la simulation : C’est trop bizarre. Et si vous êtes particulièrement éloigné de la singularité (par exemple, si vous vivez dans un pays sans industrie de l’IA et que l’IA ne vous intéresse pas personnellement), certains de ces arguments fondés sur votre situation personnelle jouent dans le sens inverse pour vous. De plus, la réalité de base pourrait ne s’intéresser à nous que pour notre capacité à produire des données historiques ; ceux qui font tourner la simulation pourraient donc simplement l’éteindre sans nous prévenir.
Réflexions générales sur cette section : Je reste sceptique quant au scénario de la « sous-classe permanente », pour les raisons exposées au point 5 ici. La concentration du pouvoir m’inquiète, même si elle m’inquiète moins qu’elle ne le ferait autrement, pour les raisons exposées ici.
Vous n’êtes pas d’accord ? Vous pouvez indiquer vos propres chiffres pour chacune de ces questions ici. Je publierai les résultats dans quelques semaines et je réfléchirai sérieusement à tous les points sur lesquels les gens intelligents ne seront pas d’accord avec moi.
1 Tout cela suppose qu’il ne se produise rien de catastrophique, comme une guerre nucléaire, et qu’il n’y ait pas de moratoire international sur la recherche en IA. [return]
2 Ai-je changé d’avis depuis AI 2027 ? Non : j’ai dit à l’époque que mes échéances étaient un peu plus lointaines que celles du membre médian du groupe qui y a travaillé. Par exemple, faites Ctrl+F ici pour trouver « au fait, je pense qu’il n’y a qu’environ 20 % de chances que les choses aillent aussi vite que le prévoit notre scénario », ou ici pour « D’autres membres de l’équipe (dont moi) situent leur estimation médiane plus tard, vers la fin des années 2020 ou le début des années 2030 », ou voyez ici. Cela dit, je pense toujours que les échéances envisagées dans AI 2027 sont plausibles et qu’il est important d’y réfléchir, même si elles sont légèrement plus rapprochées que mon estimation médiane. [return]
3 Et survivre elle-même : pour cela, l’IA doit donc avoir un plan pour produire de l’énergie, faire fonctionner des centres de données, etc., après la disparition des humains. [return]
4 Je suis ouvert aux échanges à somme positive avec toute personne vivant dans une réalité de niveau supérieur qui lirait ces lignes. [return]
