Présentation du Plan A

A comme Amérique

Il devient de plus en plus évident que personne n’a de plan pour le cas où cette histoire d’IA s’avérerait bien réelle. Certains ont des suggestions, mais elles se résument toutes à des choses comme « réglementer un peu plus », « réglementer un peu moins » ou « réagir aux problèmes à mesure qu’ils se présentent ». Ça ne suffira pas. Pas seulement parce que les choses risquent d’aller trop vite — même si ce sera le cas —, mais parce que, pour réglementer ou réagir, il faut savoir quel but on vise. Or il devient de plus en plus évident que les gens n’arrivent même pas à imaginer à quoi ressemblerait une évolution heureuse de l’IA. Que faudrait-il pour pouvoir dire honnêtement à nos enfants que nous avons été à la hauteur, pour que la transition vers l’IA entre dans l’histoire aux côtés de la Révolution américaine et du débarquement de Normandie comme l’une des plus belles heures de notre pays ? Si votre cerveau se met à bafouiller et affiche un message d’erreur face à cette question, n’est-ce pas un problème ?

C’est une pure coïncidence si le Plan A sort la semaine qui suit le 250e anniversaire des États-Unis. Il devait sortir plus tôt, mais il a pris du retard. Puis il devait sortir plus tard, mais sa publication a été avancée.

Reste que, comme le dit la formule : « Un magicien n’est jamais en retard, ni en avance d’ailleurs. Il arrive précisément à l’heure prévue. » Et s’il y a des gens qui méritent le titre de magiciens, ce sont bien Daniel Kokotajlo et son équipe de prévisionnistes de l’AI Futures Project. J’ai déjà écrit sur l’étrange précision des prévisions de Daniel entre 2021 et 2025. Depuis, ils ont acquis une renommée mondiale grâce à leur scénario AI 2027, qui prédisait l’essor et la prise de pouvoir rapide des agents de programmation début 2026, ainsi que quelque chose qui ressemble à la bataille autour de Fable¹.

Le Plan A n’est pas une nouvelle prédiction. C’est une liste de souhaits, une vision positive, une feuille de route pour aborder l’avenir. Il décrit la meilleure marche à suivre que Daniel et l’AI Futures Project aient pu concevoir, et ce qui se passerait si nous l’adoptions.

« Vraiment ? Vous avez offert à l’Amérique une note de politique publique pour ses 250 ans ? L’Amérique n’a pas déjà assez de notes de politique publique ? » Plus ou moins, mais ce n’est pas exactement une note de politique publique. Le récit commence sur une trajectoire semblable à celle d’AI 2027, qui mène à une explosion d’intelligence mal maîtrisée, vouant le monde soit à disparaître, soit à subir une techno-oligarchie permanente. Mais cette fois, l’Amérique a la chance de faire preuve d’un peu plus de clairvoyance et de détermination, et ne prend que de bonnes décisions (tous les non-Américains se comportent comme ils le feraient normalement, y compris en essayant de contrecarrer l’Amérique lorsqu’ils y ont intérêt). Le Plan A décrit année par année le meilleur des mondes possibles, d’aujourd’hui à 2040, tel que le prévoient les meilleurs prévisionnistes de l’IA au monde, avec plus d’une douzaine de suppléments expliquant tous les détails de sa mise en œuvre.

C’est une idée folle de publier un tel document. Daniel m’a donné plusieurs raisons de le faire quand même, mais celle qui m’a le plus marqué, c’est qu’il est censé fixer un seuil minimal. Quand un responsable politique propose d’interdire les centres de données, affirme qu’il faut sabrer la réglementation en matière de sécurité pour rivaliser avec la Chine, ou promet un programme de reconversion professionnelle, demandez-vous : cette personne a-t-elle une vision de l’issue de tout cela ? Si oui, vaut-elle celle du Plan A ? Si non, envisagez d’exiger mieux.

J’ai beaucoup écrit pour AI 2027 et je figurais parmi les coauteurs. Certains de mes textes ont aussi été repris dans le Plan A, mais un peu moins. La différence est une question de degré plutôt que de nature, mais pour cette raison — et pour me laisser plus de liberté d’en parler à ma façon, avec moins de retombées négatives en termes d’image —, nous avons décidé de ne pas me faire figurer parmi les auteurs cette fois-ci. Je reste fier d’y avoir contribué, aussi modeste que soit ma contribution.

(à ce propos : tout ce que je dis dans ce billet n’engage que moi et n’a pas reçu l’aval officiel de l’AI Futures Project)

A comme accord

La clé de voûte du Plan A est un cadre commun de réglementation de l’IA avec la Chine.

À la fin des années 2020, alors que le monde fonce vers une explosion d’intelligence, le gouvernement américain se rend compte qu’il n’a aucune maîtrise de la situation tant que la logique de la course reste en place. Plusieurs « moments Mythos » le convainquent que la situation lui échappe de plus en plus, mais les analystes continuent d’affirmer que, si nous ralentissons ou réglementons l’IA unilatéralement, la Chine poursuivra ses propres recherches et acquerra sur nous un dangereux avantage stratégique.

Le président, homme d’État avisé de ce scénario hypothétique, propose donc à la Chine un cadre commun de réglementation, et la Chine accepte. C’est l’un des points auxquels l’AIFP a consacré le plus de réflexion et d’efforts pour le justifier : la prémisse du récit voulait que l’Amérique soit sage et clairvoyante par convention narrative, mais nos rivaux devaient tout de même se comporter de façon crédible. L’équipe estime néanmoins que l’accord de la Chine est plausible. Elle partage des inquiétudes semblables aux nôtres (les choses vont trop vite, la société est bouleversée, elle ne peut pas exclure un risque existentiel), auxquelles s’ajoute le fait qu’elle est actuellement en train de perdre la course face à l’Amérique : une égalité imposée serait donc à son avantage.

Les États-Unis et la Chine ne se font pas confiance. Tout accord devrait donc être conçu pour ne pas reposer sur la confiance : autrement dit, il devrait être impossible à contourner et avantageux pour les deux parties même si chacune s’attend à ce que l’autre fasse tout son possible pour tricher. C’est un autre point que l’AIFP s’attendait à voir susciter de fortes objections et qu’il s’est donné beaucoup de mal à justifier. Voici son plan :

1. Établir un contrôle conjoint sur l’approvisionnement en nouvelles puces
2. Faire en sorte que l’emplacement de toutes les puces existantes soit connu de tous.
3. Veiller à ce que toutes les puces, nouvelles comme existantes, soient envoyées dans des centres de données sécurisés, dont les activités sont transparentes pour les deux pays et soumises aux inspections de chacun.

Prendre le contrôle de l’approvisionnement en puces est facile. Seules quelques entreprises savent concevoir des puces pour l’IA (par exemple NVIDIA aux États-Unis et Huawei en Chine), et seules quelques usines dans le monde savent les fabriquer (par exemple TSMC à Taïwan, Intel aux États-Unis et SMIC en Chine). Toutes ces entreprises et ces usines se trouvent aux États-Unis, en Chine ou dans des États clients à qui l’on tient la bride très courte. Les États-Unis et la Chine n’ont qu’à leur ordonner de ne livrer des puces qu’aux clients agréés, puis à envoyer des auditeurs et des inspecteurs vérifier qu’ils obéissent. Un dispositif de ce genre existe déjà ; cet accord ne fait que durcir les restrictions et permettre aux deux pays de participer aux inspections.

Retrouver toutes les puces existantes n’est guère plus difficile. La plupart se trouvent dans d’immenses centres de données, grands comme de petites villes, qui consomment autant d’électricité que des centrales entières peuvent en produire : difficile de les cacher. On peut suivre la trace des autres jusqu’à leur destination finale grâce aux fichiers clients de NVIDIA, de TSMC, etc. L’AIFP explique ses méthodes plus en détail dans le supplément sur les projets clandestins, mais estime pouvoir retrouver 98,5 % des puces existantes (nous reviendrons sur les 1,5 % restants).

Une fois que les deux pays sont convaincus de contrôler presque toutes les puces, ils les transfèrent dans des centres de données agréés (« sites soumis à inspection »), où l’autre partie est autorisée à envoyer des auditeurs. Le supplément sur la vérification décrit une technologie qui pourrait être prête dans un avenir très proche (il faudrait un à deux ans pour la mettre au point ; j’ai récemment recommandé d’accorder des subventions aux organisations qui y travaillent), capable de surveiller ces centres de données et de permettre à chacun des deux pays de savoir ce qui s’y passe. Les auditeurs peuvent s’assurer que cette technologie est installée et n’a pas été compromise ; les deux parties sauront alors si l’autre viole l’accord. D’autres auditeurs, présents dans les usines de fabrication de puces, veillent à ce que toutes les nouvelles puces produites soient elles aussi envoyées vers les sites soumis à inspection.

Au bout du compte, les États-Unis peuvent être sûrs qu’au moins 98,5 % des puces chinoises se trouvent dans des sites blancs dont le gouvernement américain peut vérifier les activités. La Chine ne peut donc pas violer l’accord en entraînant une IA dangereuse sans que l’Amérique le sache. La même chose vaut dans l’autre sens : la Chine sait où se trouvent presque toutes les puces américaines et peut être sûre que nous ne trichons pas.

A comme aristotélicien

Maintenant que les États-Unis et la Chine savent ce qui se passe dans les centres de données de l’autre et acceptent en principe de coordonner leurs recherches sur l’IA, que font-ils ?

Dans une version précédente du Plan A, j’appelais cela le « Sentier d’Or », avant que les membres plus dignes de l’équipe ne suppriment la référence. L’idée est qu’il nous faut trouver une sorte de juste milieu quant à la vitesse des progrès de l’IA. Trop vite, et nous risquons d’obtenir une IA mal alignée ou de provoquer quelque bouleversement social (vous avez déjà entendu cet argument mille fois ; lisez If Anyone Builds It, Everyone Dies pour les détails). Mais pourquoi craindre d’aller trop lentement ?

Dans le Plan A, le principal risque d’aller trop lentement est que l’accord vole en éclats. Le précédent le plus éclairant est celui des régimes de contrôle des armements : le traité START et le traité New START ont tenu bon pendant plusieurs décennies, mais leur application a été suspendue en raison des tensions autour de l’Ukraine en 2023, puis ils ont définitivement pris fin en 2026. L’accord avec l’Iran sur son programme nucléaire, le Plan d’action global commun (JCPoA), a tenu à peine deux ans. Si nous tergiversons sans rien faire pendant cinquante ans, l’accord finira probablement par s’effondrer et nous nous retrouverons à la case départ. Nous devrions donc avoir un plan pour accomplir ce que nous voulons grâce à cet accord d’ici dix ou vingt ans.

Le deuxième risque, par ordre d’importance, vient des 1,5 % de la capacité de calcul dont nous parlions plus haut. Encore une fois, nous partons du principe que nous ne pouvons pas faire confiance à la Chine (et réciproquement) : supposons donc qu’elle ait triché autant que possible, dissimulé 1,5 % de sa capacité de calcul et qu’elle s’en serve pour entraîner une IA militaire aussi dangereuse que possible. Combien de temps avant que cette IA puisse connaître une explosion d’intelligence et lui donner un avantage stratégique décisif ? Selon les calculs de l’AIFP, il faudrait un peu plus de dix ans. Là encore, nous devrions donc avoir un plan pour obtenir ce que nous voulons de l’accord avant l’expiration de ce délai.

Le troisième risque, par ordre d’importance, tient à la progression régulière de la technologie. Les puces et les algorithmes s’améliorent chaque année ; des IA dont l’entraînement exige aujourd’hui des centres de données grands comme des villes pourraient demain se contenter de matériel de laboratoire universitaire. Dès qu’il sera possible d’entraîner une IA dangereuse avec un tel matériel, les accords qui ne reposent pas sur la confiance deviendront impossibles, puisque n’importe qui pourra dissimuler quelques superordinateurs dispersés çà et là. Nous pouvons prendre certaines mesures peu coûteuses pour ralentir cette évolution, mais l’arrêter complètement pourrait nécessiter des interventions aux allures autoritaires ou un ralentissement généralisé du progrès économique. Plutôt que d’emprunter cette voie, nous devrions avoir un plan pour obtenir ce que nous voulons de l’accord avant que ces questions deviennent pressantes — ce qui, une fois encore, signifie d’ici quelques décennies.

Et bien que cette considération n’ait pas été retenue dans le texte principal, il faut aussi mettre en balance le risque que présente l’IA et celui de toutes les catastrophes dont elle pourrait nous sauver. Guerre nucléaire, pandémies provoquées par des agents pathogènes conçus en laboratoire, vie miroir, effondrement de la fécondité, vie politique de moins en moins fonctionnelle, « polycrise » : tout cela m’inquiète peu comparé à la perspective d’une IA dangereuse dans cinq ans. Mais plus nous retardons le développement de l’IA pour travailler sur l’alignement, plus le risque lié à l’IA diminue et plus celui que présentent tous ces autres problèmes augmente, jusqu’à ce que les deux se rejoignent et que nous ayons trop attendu. Combien de temps faudrait-il attendre ? Je pense que cette considération, à elle seule, plaide pour des délais un peu plus longs que les autres, mais on parle toujours de décennies, pas de siècles.

Dans le Plan A, les États-Unis et la Chine conviennent donc d’avancer aussi vite que possible sans faire de compromis sur la sécurité.

À partir du début des années 2030, ils mettent les bouchées doubles pour entraîner davantage d’IA, plus vite. Ces IA continueront d’être entraînées par les entreprises existantes (Anthropic, Alibaba, DeepSeek, OpenAI, etc.) et pourront toujours servir à des fins commerciales, mais leur entraînement et leur hébergement se feront dans des centres de données réglementés et surveillés. Un plafond de capacités évolutif sera fixé, les deux pays le relèveront au même rythme et au même moment, et les IA ainsi obtenues seront accessibles à tous, partout dans le monde.

(à un moment donné, les États-Unis et la Chine intégreront tous les autres pays à ce régime réglementaire en leur donnant une sorte de statut d’observateur, avec une voix au chapitre, mais pas vraiment un droit de vote ; ils accepteront de suivre les règles en échange d’avantages partagés, notamment des centres de données sur leur territoire, l’accès aux IA et une part des richesses que l’IA produira à l’avenir. Ce n’est pas strictement nécessaire, puisque aucun autre pays n’a vraiment les moyens de faire grand-chose avec l’IA, mais c’est un joli geste dans notre scénario utopique)

Puis, au milieu des années 2030, ils marquent une pause une fois parvenus à des IA du niveau des plus grands génies humains. Ces IA sont assez proches des IA actuelles pour que les techniques d’alignement qui fonctionnent plus ou moins avec les nôtres fonctionnent peut-être plus ou moins avec elles aussi. Mais si ce n’est pas le cas, ce n’est pas grave : la sécurité repose avant tout sur le « contrôle », c’est-à-dire sur le fait de garder les IA dans une boîte dont elles ne peuvent pas sortir (en l’occurrence, des centres de données soumis à une réglementation stricte et sécurisés de l’intérieur). Cela ne marcherait pas avec une superintelligence, mais, avec suffisamment de précautions, ça marchera pour ces modèles qui sont « seulement » du niveau des plus grands génies humains. Le plan consiste à passer les quelque dix années suivantes à utiliser ce « pays de génies dans un centre de données » pour résoudre le problème de l’alignement des IA, ainsi qu’à peu près tous les autres problèmes.

A comme abondance

La partie centrale du Plan A est le doux rêve que fait l’AIFP de tous les problèmes qu’on pourrait résoudre facilement en déployant des millions, voire des milliards d’IA du niveau des plus grands génies humains.

J’ai dit plus haut que la prémisse de cet exercice voulait que l’Amérique ne prenne que de bonnes décisions. Vous auriez quand même de bonnes raisons d’être sceptiques : même si les IA de niveau génie nous donnent les moyens techniques de résoudre nos problèmes, d’où viendra la volonté politique ? Leur réponse, ce sont les IA superprévisionnistes et autres outils du même genre. Le supplément sur l’IA au service de l’épistémologie donne les détails, mais ils rêvent d’un monde où les outils de prévision actuels se développeraient en un vaste écosystème de conseillers dont les électeurs, les responsables politiques et les médias se serviraient pour élaborer des modèles de l’avenir et guider leurs décisions. Ils espèrent que des IA dignes de confiance sauront faire valoir de manière convaincante que les politiques qu’elles recommandent donneront de bons résultats, et que l’autre voie mène au techno-féodalisme, à un appauvrissement massif ou (dans certains cas) à la fin du monde. Cela donne un nouveau souffle à notre système politique, d’ordinaire si sclérosé, et lui permet de voir grand.

Les IA du niveau des plus grands génies humains deviennent bientôt capables d’occuper la plupart des emplois de bureau. Les électeurs règlent le problème grâce à un « dividende citoyen » (on m’a déconseillé d’employer le terme « revenu universel »), très facile à financer puisque les IA entraînent une croissance annuelle du PIB à deux chiffres, voire à trois chiffres (vous trouvez ça dingue ? Lisez le supplément sur l’économie). En raison de la déflation extrême qui touche la plupart des autres biens, le dividende est indexé sur la capacité de calcul : à mesure que celle-ci augmente, il passe de 25 000 $ par personne et par an lors de sa mise en place en 2033 à 1,6 million de dollars en 2035 (tous les montants en dollars tiennent compte d’une déflation extrême ; pour en savoir plus, lisez le supplément). Diverses maladies sont guéries. Divers fléaux sociaux disparaissent. Il y a probablement des voitures volantes ou d’autres inventions tout aussi géniales.

Toute cette croissance s’accompagne de nouveaux risques. Sans contrôle, elle pourrait déclencher une nouvelle course aux armements : si, par exemple, les États-Unis connaissent une croissance de 150 % par an, contre seulement 100 % pour la Chine, l’économie américaine sera neuf fois plus grande au bout de dix ans et l’Amérique pourrait facilement écraser sa rivale. Sans surveillance, quelqu’un pourrait se servir des technologies qui permettent de guérir le cancer pour créer quelque chose d’extrêmement dangereux, qu’il s’agisse d’armes biologiques, de vie miroir ou de choses que je ne mentionnerai pas parce que vous leur reprocheriez d’être invraisemblables. Le problème se règle à peu près de la même manière que pour les centres de données : les États-Unis, la Chine et les divers pays observateurs, qui ont une voix au chapitre sans vraiment avoir le droit de vote, conviennent de limiter la croissance économique rendue possible par l’IA à des zones économiques spéciales étroitement surveillées par toutes les parties. Avec, en prime, la garantie que l’usine de nano-assemblage haute de 200 étages ne sera pas construite juste derrière chez vous.

Pour d’autres rêves agréables, lisez les sections consacrées aux années 2033-2037.

A comme alignement

Pendant ce temps, des milliards d’autres IA du niveau des plus grands génies humains travaillent sur les questions liées à l’alignement des IA.

Il y a là une sorte de cercle vicieux : comment savoir si ces IA seront sûres ?

D’abord, elles pourraient être sûres tout simplement parce qu’elles n’ont pas encore atteint le stade où elles ne le sont plus. Aujourd’hui, les IA sont légèrement désalignées, mais il reste assez facile de leur faire faire un travail utile. À mesure que les IA progresseront vers la superintelligence, leur alignement pourrait se dégrader peu à peu pour plusieurs raisons : elles auront davantage d’autonomie, elles seront plus aptes à élaborer des stratagèmes cohérents, elles auront plus de possibilités « hors distribution » et seront assez intelligentes pour généraliser de façon bizarre². Les IA du niveau des plus grands génies humains se situeront quelque part sur cette trajectoire, mais peut-être pas assez loin pour se comporter de manière hostile dans 100 % des cas.

Mais le Plan A ne repose pas là-dessus : sa sécurité repose sur le contrôle. Les IA sont gardées dans des centres de données étroitement surveillés, dont elles ne peuvent pas s’échapper même si elles le voulaient (le débit est assez faible pour que l’exfiltration de leurs poids par le réseau prenne des décennies, et les personnes qui entrent ou sortent sont fouillées pour vérifier qu’elles ne transportent pas de clés USB, etc.). Toutes leurs actions sont surveillées par des IA d’autres entreprises et d’autres pays ; tout ce qui paraît suspect est signalé à des surveillants humains. Des humains compétents et des IA simulant un désalignement mettent constamment la sécurité à l’épreuve. Comme les incitations à assurer la sécurité l’emportent désormais sur celles liées à la course, il n’y a aucune raison de se précipiter vers des chaînes de pensée illisibles ; les chaînes de pensée sont donc surveillées attentivement et efficacement. Certaines IA véritablement désalignées sont créées comme « organismes modèles » dans des conditions extrêmement contrôlées, puis observées pour voir ce qu’elles font ; si elles sont capables de piratage ou de manipulation sociale à un certain niveau, tout le monde s’assure que ce niveau ne suffit pas pour s’échapper des centres de données. Si des IA parviennent à s’échapper, ou même progressent dans cette direction, nous nous préparons à négocier avec elles plutôt qu’à les traiter comme des adversaires irréductibles. Aucun de ces mécanismes ne permettrait de contrôler une véritable superintelligence, mais c’est justement pour cela que nous n’en construisons pas encore.

Comme ces IA ne sont peut-être pas parfaitement alignées, un volet essentiel des premières recherches consiste à mettre à profit tout le travail utile qu’elles peuvent fournir pour atteindre un stade où nous pourrons leur faire davantage confiance, par exemple pour qu’elles mènent de bonnes recherches sur l’alignement sans chercher à en donner seulement l’apparence (« Vous avez tout à fait raison, j’ai proposé une méthode qui entraînerait la destruction de l’humanité — c’est ma faute »). Une fois ce stade atteint, nous pourrons consacrer des dizaines de milliards d’années de travail de chercheurs au problème de l’alignement et obtenir quelque chose de vraiment digne de confiance ; l’AIFP imagine ce à quoi cela pourrait ressembler dans le supplément sur l’alignement et dans Insider Perspective. Dans le meilleur des cas, nous remplacerons la génération actuelle d’IA, fondées sur des assemblages bancals de techniques d’apprentissage automatique, par une forme d’IA plus mathématique, à propos de laquelle il sera possible de démontrer certaines choses, et dont nous pourrons prouver qu’elle est alignée ou, du moins, corrigible.

Parallèlement à ces recherches techniques, nous menons aussi une démarche philosophique… quelque part entre la « recherche » et le « débat », pour décider quelles valeurs nous voulons donner aux IA alignées, ou dans quelle mesure nous voulons qu’elles obéissent aux ordres des gouvernements, suivent la volonté générale de l’humanité ou recherchent par elles-mêmes les vérités morales. À la fin de cette étape, chaque pays doté d’IA aura probablement soit intégré ses propres valeurs à ses IA, soit laissé les entreprises et les particuliers le faire ; les IA mèneront alors entre elles d’incompréhensibles négociations économiques pour régler les éventuels conflits.

Une fois que nous serons absolument certains que les IA sont parfaitement alignées — selon les hypothèses de l’AIFP, ce pourrait être vers 2040 —, nous leur confierons la couche de souveraineté du pouvoir politique. Pourquoi ? Tous les problèmes dont nous avons parlé dans la section sur les « risques d’aller trop lentement » — la rupture de l’accord, les violations de celui-ci, la guerre nucléaire, etc. — sont dus à des humains désalignés qui font de mauvaises choses. Une fois que nous disposerons d’IA parfaitement alignées, nous voudrons leur donner le dernier mot sur ces leviers pour empêcher que ces risques se concrétisent. Parce qu’elles sont parfaitement alignées, les IA continuent de laisser les humains gérer la couche de décision politique. L’idée est que le président des États-Unis ou le dirigeant suprême de la Chine garde la main sur les décisions quotidiennes, mais que, si quelqu’un tente un coup d’État et veut lancer les missiles nucléaires sans raison, l’IA alignée qui les contrôle lui dit non.

Même après que nous leur aurons confié les missiles nucléaires, les IA ne se précipiteront toujours pas vers la superintelligence : disposer d’un plan d’alignement dont on peut prouver qu’il fonctionnera pour une superintelligence est plus exigeant que d’en avoir un dont on peut prouver qu’il fonctionne pour les IA du niveau des plus grands génies humains auxquelles nous faisons confiance pour nous guider pendant les années 2030. Dans notre scénario, les IA déclenchent une explosion d’intelligence assez peu de temps après ce transfert de pouvoir, en 2040. Mais c’est seulement pour les besoins du récit : à ce stade, les risques d’aller trop lentement ont beaucoup diminué et, si les IA disent qu’il leur faudra attendre 2100 pour être vraiment sûres d’avoir tout résolu, nous devrions leur laisser jusqu’en 2100 (d’ici là, nous aurons probablement vaincu le vieillissement de toute façon).

Après l’apparition de la superintelligence en 2040, les superintelligences résolvent tous les problèmes philosophiques qui peuvent l’être, prédisent tous les aspects de l’avenir qui peuvent être prédits et, en concertation avec les gouvernements humains, aident à tracer le meilleur avenir possible pour l’humanité parmi les étoiles. L’AIFP a retiré cette partie du texte principal, de peur que les décideurs de Washington qui liraient notre scénario ne trouvent bizarre qu’on leur décrive quel type d’enchères utiliser pour déterminer qui recevra combien de galaxies. Mais elle figure dans l’épilogue et le supplément sur la gouvernance spatiale, et je tâcherai d’en parler davantage sur le blog plus tard dans la semaine.

A comme à nous tous

Pourquoi s’intéresser à cette étrange histoire de science-fiction ?

Depuis un an ou deux, je suis un peu désespéré. Si AI 2027 a raison, une explosion d’intelligence incontrôlée pourrait se produire à la fin des années 2020 ou au début des années 2030. En l’espace d’un an ou deux, nous pourrions passer d’un monde à peu près normal, où nous parlons surtout de vols à l’étalage, du coût des soins de santé et de Trump, à un monde entièrement sous le contrôle d’une superintelligence incompréhensible. Même un gouvernement réactif et compétent aurait du mal à réagir dans un délai aussi court (sans parler de notre gouvernement), et l’issue probable serait celle que dépeint AI 2027 : l’oligarchie ou l’extinction.

On dirait donc qu’il faudrait essayer d’empêcher, d’une manière ou d’une autre, les progrès de l’IA. Mais entraver le progrès technologique — la « décroissance », comme disent les jeunes aujourd’hui — est historiquement l’un des pires paris qu’on puisse faire. À petite dose, cela ne fait « que » provoquer de la pauvreté, de la misère et des morts en masse qui auraient pu être évitées. Poussée trop loin, cette logique brise complètement le moteur du progrès social et enferme des civilisations entières dans un bourbier de pessimisme, de paranoïa et de raisonnements à somme nulle dont il est presque impossible de sortir une fois qu’elles y sont tombées.

Mais la règle empirique selon laquelle la technologie est généralement une bonne chose ne saurait tout de même devenir une injonction à ne jamais s’inquiéter d’aucune technologie, si catastrophique qu’elle puisse paraître ? D’un autre côté, tous ceux qui s’opposent au progrès technologique pensent que leur cas particulier est justifié ; la maxime « ne le faites que si c’est justifié » ne nous aide en rien. Voilà le genre de réflexions qui me hantent. Comme l’a dit Woody Allen : « L’humanité est à la croisée des chemins. Une voie mène au désespoir et à l’absence d’espoir, l’autre à l’extinction totale. Prions pour avoir la sagesse de faire le bon choix. »

Le Plan A me semble notre meilleur espoir de faire quelque chose de vraiment bien. L’idée essentielle, c’est que si une IA puissante est réellement aussi proche et aussi porteuse de bouleversements que nous le pensons, alors les bénéfices à partager seront assez considérables pour satisfaire tout le monde. Tyler Cowen, Marc Andreessen et les accélérationnistes hurleront que nous ralentissons le progrès, mais nous imaginons que notre monde lent avancera beaucoup plus vite que le monde rapide qu’ils imaginent. Si Tyler veut une croissance du PIB à deux chiffres dans les années 2030, nous lui en donnerons une à trois chiffres. Si Marc Andreessen veut un traitement contre le cancer d’ici 2050, nous le lui donnerons d’ici 2035. Le choix n’oppose pas la poursuite de la trajectoire actuelle à un monde doté de quelques innovations épatantes en matière d’IA. Il oppose des nanorobots qui dévorent le système solaire en 2033 à des traitements contre le cancer en 2035. Quand nous disons qu’« il faut ralentir l’IA », c’est le scénario des traitements contre le cancer en 2035 que nous voulons. Si nous sommes simplement en passe d’obtenir quelques innovations épatantes en matière d’IA dans les années 2040, alors je me trompe sur toute la ligne et tout cela n’a pas vraiment d’importance, dans un sens ou dans l’autre.

Milton Friedman a dit que les véritables changements politiques ne surviennent qu’en temps de crise, et que l’avenir appartient à ceux qui disposent d’un plan plausible quand la crise éclate. C’est dans cet esprit que l’AIFP publie le Plan A. Si vous y êtes opposés, vous devriez réfléchir longuement au plan d’action que vous attendez du gouvernement une fois la crise devenue évidente, et vous demander s’il servira mieux vos intérêts que le Plan A. Si vous pensez qu’il n’y aura jamais de crise, que le public ne remettra jamais l’IA en question et que vous pourrez simplement réagir aux problèmes à mesure qu’ils se présentent, alors bonne chance. Je crois vraiment que nous sommes le gentil flic, dans cette histoire.

Sauf que je ne devrais pas dire « nous ». C’est une pure coïncidence si le Plan A résout ce problème. Personne d’autre dans l’équipe ne semblait s’y intéresser particulièrement ; ils essayaient simplement de déterminer ce qui nous donnerait réellement les meilleures chances de rester en vie. En fait, ils m’ont demandé de souligner que tout cela reste provisoire : si, dans les années 2030, le calcul du Sentier d’Or exige d’avancer plus lentement, ils recommanderont de ralentir ; s’il exige d’avancer plus vite, ils recommanderont aussi de le faire.

Mais leurs calculs actuels laissent bel et bien entrevoir un Sentier d’Or qui mettrait fin à la pauvreté et à la maladie en une décennie, et nous offrirait un avenir interplanétaire glorieux de notre vivant. Leur modèle n’exigeait pas ce résultat. Il se trouve simplement que les choses semblent avoir tourné ainsi. Le meilleur moyen de répondre aux inquiétudes des catastrophistes se trouve être un plan qui devrait satisfaire les accélérationnistes, et une trajectoire qui reste largement dans la fenêtre d’Overton des accélérationnistes se trouve offrir les meilleures conditions possibles pour les recherches sur la sécurité.

Comme pour les progrès précédents de l’IA, je ne peux attribuer cela, comme tout le reste, qu’à la bienveillance divine.

Vous pouvez lire le Plan A ici. Ne manquez pas les suppléments cachés dans le coin supérieur droit.

1 Extrait de mon billet ACX du 8 avril 2025, My Takeaways From AI 2027 :

La cyberguerre comme (l’une des) premières compétences de l’IA ayant une portée géopolitique

L’IA effraiera les gens par ses capacités de piratage avant de les effrayer par le bioterrorisme ou autre chose du même genre. En partie parce que les IA progressent déjà particulièrement vite en programmation, en partie parce que le piratage ne nécessite ni matériel de laboratoire ni produits chimiques pour fabriquer des bombes, et en partie parce qu’il y a plus de pirates informatiques que d’aspirants terroristes.

Si l’IA maîtrise la cyberguerre, la pression sera forte pour que l’État intervienne. Ce sera mauvais pour les modèles à code ouvert (ils seront soumis à des restrictions, à moins qu’on ne trouve un moyen de garantir qu’ils ne peuvent pas être entraînés à pirater), mauvais pour ceux qui veulent faire une pause dans le développement de l’IA (on ne peut pas laisser l’armée de pirates automatiques de la Chine prendre de l’avance sur la nôtre !) et plus difficile à prévoir pour les entreprises d’IA (nous ne pensons pas qu’elles seront entièrement nationalisées, mais elles finiront dans la même catégorie que les exploitants de mines d’uranium, les usines d’engrais du Moyen-Orient, etc.).

[return]

2 Ce dernier point est spéculatif, mais il renvoie à l’intuition qu’à mesure que des êtres gagnent en intelligence, ils ont davantage de degrés de liberté pour leurs pensées et leurs concepts. Un singe se comporte probablement selon ses instincts hérités de l’évolution, un moine peut se convaincre, à force de raisonnement, de rester célibataire, et un véritable génie peut se laisser happer par le chantage de Pascal ou quelque chose du genre et finir par n’avoir plus aucune idée de la façon dont il devrait se comporter. Nous connaissons certains des pièges qui se trouvent aux niveaux les plus élevés de l’intelligence humaine, mais nous aimerions être mieux préparés avant d’aller au-delà. [return]