Ce que je retiens d’AI 2027

Voici une liste de points sur lesquels j’ai revu mon avis après avoir travaillé sur le scénario.

Certains sont examinés plus en détail dans les documents complémentaires, notamment les prévisions sur le calcul, les prévisions sur les échéances, les prévisions sur le décollage, les prévisions sur les objectifs des IA et les prévisions sur la sécurité. Je les mets en avant parce que j’ai l’impression que beaucoup de gens n’ont pas remarqué leur existence, alors que ce sont eux qui font passer le scénario d’une histoire intéressante à une contribution au débat étayée par des recherches.

Ce ne sont que mes opinions, que le reste de l’équipe ne partage pas nécessairement.

La cyberguerre, l’une des premières compétences de l’IA à avoir une importance géopolitique

L’IA effraiera les gens par ses capacités de piratage avant de les effrayer par le bioterrorisme ou autre chose. En partie parce que les IA progressent déjà particulièrement vite en programmation, en partie parce que le piratage ne nécessite ni matériel de laboratoire ni produits chimiques pour fabriquer des bombes, et en partie parce qu’il y a plus de pirates informatiques que d’aspirants terroristes.

Si l’IA maîtrise la cyberguerre, la pression pour que l’État intervienne sera énorme. Ce sera mauvais pour les IA open source (elles seront soumises à des restrictions, à moins qu’on ne trouve un moyen de garantir que les modèles ne pourront pas être entraînés à pirater), mauvais pour ceux qui veulent faire une pause dans le développement de l’IA (on ne peut pas laisser l’armée chinoise de pirates automatisés prendre de l’avance sur la nôtre !) et aura des effets ambigus pour les entreprises d’IA (nous ne prévoyons pas qu’elles seront entièrement nationalisées, mais elles finiront dans la même catégorie que les exploitants de mines d’uranium, les usines d’engrais du Moyen-Orient, etc.). En revanche, ce sera bon pour la biosécurité : les gouvernements devront se confronter à de difficiles questions de sécurité liées à l’IA dès que celle-ci maîtrisera le piratage ; lorsqu’elle maîtrisera la fabrication d’armes biologiques, une sorte de cadre réglementaire sera peut-être déjà en place. Le scénario ne se prononce pas sur la possibilité qu’un bioterroriste, dès le début, ait de la chance et bénéficie d’un petit coup de pouce d’un modèle peu performant. Mais il ne prévoit pas que ces gens auront facilement accès à une véritable superintelligence.

Une période d’instabilité géopolitique potentielle

Si l’Amérique possède l’arme nucléaire et est prête à s’en servir, mais pas la Russie, alors l’Amérique gagne automatiquement tous les conflits. Donc, si vous êtes la Russie et que vous apprenez que l’Amérique aura l’arme nucléaire l’année prochaine, que faites-vous ? Soit vous vous rendez, soit vous tentez un coup désespéré pour détruire son programme nucléaire.

De même, si vous êtes l’Amérique, que vous possédez l’arme nucléaire et que vous savez que la Russie l’aura l’année prochaine, que faites-vous ? Soit vous la bombardez maintenant et gagnez automatiquement, soit vous renoncez à votre avantage et vous vous retrouvez avec toute la guerre froide. Von Neumann voulait vraiment bombarder la Russie en 1947 et gagner automatiquement. Nous ne l’avons pas fait parce que nous n’étions pas des psychopathes, mais la logique se tient.

Si une véritable superintelligence est possible, alors elle procure un avantage stratégique décisif, au même titre que l’arme nucléaire. Pas besoin d’être un psychopathe pour autant : peut-être pourriez-vous vous en servir pour provoquer un changement de régime sans effusion de sang. Donc, si vous l’obtenez en premier, vous avez tout intérêt à vous en servir immédiatement. Et si vous êtes en passe de l’obtenir en deuxième, vous avez tout intérêt à renverser la table pour éviter que cela se produise.

Si tout le monde s’en rend compte à l’avance et que l’Amérique est en passe d’obtenir la superintelligence trois mois avant la Chine, il pourrait y avoir une période où la Chine se demandera si elle doit se laisser mourir, ou faire quelque chose de spectaculaire (des frappes militaires contre les centres de données américains ?). Dans le meilleur des cas, cela ouvre la possibilité d’un accord, qui consacrerait peut-être un effort international pacifique dans le domaine de l’IA. À vous de juger quelle est la probabilité que cela arrive.

La singularité logicielle

Les futurologues sceptiques s’attendent à ce que deux types de goulets d’étranglement freinent la singularité. Il y a ceux qui freinent les progrès de l’IA (par exemple le calcul) et vous empêchent d’atteindre la superintelligence trop vite. Et il y a ceux qui freinent l’automatisation (par exemple le temps nécessaire pour construire des usines, ou les réglementations) et empêchent les IA de transformer l’économie trop vite. Si vous prenez ces deux types de goulets d’étranglement au sérieux, vous obtenez un long cycle de rétroaction où les IA deviennent un peu plus intelligentes, automatisent une part un peu plus grande de l’économie (y compris les usines de fabrication de puces), s’en servent pour devenir encore un peu plus intelligentes, et connaissent un décollage progressif sur plusieurs décennies.

AI 2027 conteste le premier goulet d’étranglement : des chercheurs plus intelligents peuvent utiliser le calcul plus efficacement. De fait, nous savons que c’est ce qui se passe ; depuis 2020, environ la moitié de la montée en puissance de l’IA est due aux progrès algorithmiques, qui nous permettent de mieux utiliser le calcul dont nous disposons. Si nous maintenons le calcul constant, mais multiplions par dix les progrès algorithmiques (grâce à l’explosion de l’intelligence), alors les performances globales de l’IA sont multipliées par cinq.

Les sceptiques répondent à cette objection : la recherche qui accélère les progrès algorithmiques est elle-même limitée par le calcul. Les chercheurs doivent mener des expériences pour déterminer quels nouveaux algorithmes fonctionnent et quels paramètres leur attribuer. Il se pourrait que des chercheurs plus intelligents trouvent comment utiliser ce calcul plus efficacement, mais alors vous n’obtenez pas d’explosion de l’intelligence avant que vos IA soient déjà plus intelligentes que les chercheurs humains, c’est-à-dire une fois le stade de l’IAG déjà dépassé.

AI 2027 n’est pas d’accord. Même si cette contre-objection va dans le bon sens, l’intelligence peut faire gagner un peu de temps de différentes façons, même quand le calcul reste constant. Comment le savons-nous ? En partie parce que nous avons essayé, par la seule réflexion, de dresser la liste des possibilités : par exemple, même si ajouter des chercheurs ne permet pas d’aller plus vite, donner aux mêmes chercheurs la capacité de raisonner plus vite, étape par étape, doit bien changer quelque chose. Et en partie parce que nous avons interrogé des chercheurs en IA : « Si vous aviez un tas d’IA pour vous aider, mais seulement la même quantité de calcul, à quel point vos recherches iraient-elles plus vite ? » La plupart ont répondu qu’elles iraient un peu plus vite. Tous ces petits gains se cumuleront et s’amplifieront mutuellement, comme dans une explosion de l’intelligence typique ; quand on déroule le scénario, on obtient un décollage vers la superintelligence en un an environ.

À ce stade, vous avez évité la plupart des véritables goulets d’étranglement matériels qui freinent l’automatisation (temps de construction des usines, réglementations, etc.) : vous avez un centre de données rempli de superintelligences dans un monde qui, pour le reste, n’a pas changé. Vous n’avez peut-être même pas de très bonnes IA destinées au grand public (nous pensons que les entreprises d’IA ne lanceront probablement pas beaucoup de nouveaux modèles en pleine explosion de l’intelligence : elles préféreront consacrer ces ressources à accélérer l’explosion).

Plus tard, quand nous essayons de modéliser la vitesse de l’automatisation, nous nous demandons ce qui se passe quand des superintelligences à part entière sont lâchées dans un monde humain ordinaire, plutôt que ce qui se passe quand des IA 30 % plus intelligentes tentent d’automatiser un monde optimisé par des IA 25 % plus intelligentes.

La (non-)pertinence des IA open source

Dans le scénario, les IA des entreprises en tête ont un ou deux ans d’avance sur les meilleures IA open source (ce n’est pas une prédiction audacieuse : c’est déjà le cas ; nous disons seulement que la tendance ne changera pas).

Mais dans le scénario, l’explosion de l’intelligence ne prend qu’un ou deux ans. Donc, au moment où les IA des entreprises en tête dépassent le niveau humain, les IA open source ne sont qu’un peu meilleures que les meilleures IA d’aujourd’hui. Elles ne constituent donc pas un contrepoids efficace aux superintelligences issues de l’explosion de l’intelligence.

La situation pourrait même être pire : une fois que l’IA sera devenue douée pour la cyberguerre, la pression s’accentuera sur des entreprises comme Meta et DeepSeek pour qu’elles cessent de publier leurs modèles tant qu’elles ne seront pas sûres qu’on ne peut pas les débrider pour pirater des gens. Si cette garantie est difficile à obtenir, cela pourrait ralentir encore davantage l’open source.

Le rôle décisif de la communication entre IA

Dans la branche où l’IA se désaligne, les IA cessent d’utiliser l’anglais pour leur chaîne de pensée et pensent en « neuralese », un langage présymbolique constitué d’activations des poids neuronaux (les humains font-ils cela ? est-ce la même chose que l’hypothèse du mentalais ?). Elles communiquent en s’envoyant des vecteurs en neuralese (un peu comme si les humains acquéraient une forme de télépathie leur permettant de s’envoyer leurs états mentaux par e-mail). C’est un plus pour leurs capacités (le neuralese est plus rapide et plus riche que l’anglais), mais fatal pour l’alignement. Non seulement les chercheurs ne peuvent plus lire la chaîne de pensée pour voir si le modèle manigance, mais ils ne peuvent même plus surveiller les communications entre IA pour vérifier de quoi elles parlent (par exemple : « Hé, on devrait tuer tous les humains ? »).

Dans la branche où l’humanité survit, les entreprises comprennent que c’est dangereux, acceptent de sacrifier une partie des capacités de leurs IA et s’en tiennent à l’anglais. Elles surveillent les chaînes de pensée et les communications entre IA (ou, plus vraisemblablement, confient cette tâche à des IA comme GPT-4, trop peu intelligentes pour comploter). Ces IA étroitement surveillées ne parviennent jamais à se coordonner pour mener à bien un complot et inventent de bonnes techniques d’alignement alors qu’elles sont encore sous contrôle humain.

Quand les chercheurs débattront, dans le monde réel, de l’opportunité de mettre en œuvre le neuralese, nous espérons qu’ils se diront : « Hé, ce n’est pas cette décision qui a condamné l’humanité dans ce truc d’AI 2027 ? »

(ou, si nous avons de la chance, le niveau technologique nécessaire pour mettre en œuvre le neuralese nous permettra aussi de disposer d’interprètes du neuralese du type GPT-4, trop peu intelligents pour comploter ; auquel cas nous pourrions essayer de surveiller à nouveau).

Dix personnes à l’intérieur

Le titre vient de ce billet sur LessWrong, mais c’est aussi l’impression qu’AI 2027 m’a laissée. Si les choses vont aussi vite, il n’y aura pas le temps de mener une campagne de terrain en faveur de la sûreté, ni même de faire adopter des lois sur le sujet. La sûreté de l’IA dépendra des personnes au sein des entreprises. D’abord, du PDG, du conseil d’administration et de la direction, et de la place qu’ils choisiront d’accorder à la sûreté. Ensuite, de l’équipe chargée de l’alignement et de sa compétence. Enfin, des employés ordinaires, et de leur propension à râler ou à se révolter si leur entreprise semble agir de façon irresponsable.

(Je suppose que l’appareil de sécurité nationale aurait lui aussi l’occasion de s’y opposer, mais cela ne semble pas être son genre.)

C’est une des raisons pour lesquelles je m’oppose aux campagnes apparues récemment pour inciter les personnes soucieuses de la sûreté à quitter les entreprises d’IA. Je serais tenté de défendre l’idée inverse : sommes-nous sûrs qu’il ne faudrait pas encourager les personnes soucieuses de la sûreté à essayer de rejoindre les entreprises d’IA le plus vite possible ? Peut-être pas si vous êtes un génie dont la présence accélérerait énormément la recherche sur les capacités. Mais si vous avez des compétences comparables à celles de la personne qui vous remplacerait, ou à peine supérieures ? Bien sûr.

(Je n’ai pas vérifié cette idée auprès de gens avisés, et vous devriez en parler à des spécialistes qui y ont davantage réfléchi avant d’agir en conséquence. Cela dit, je veux la mettre sur la table comme piste de réflexion avant que les partisans du « tout le monde devrait démissionner » n’occupent tout l’espace.)

Mais cela signifie aussi qu’il y a potentiellement beaucoup à gagner en faisant participer d’autres personnes que les dix personnes en interne. Par exemple, si les laboratoires peuvent s’engager à publier des dossiers de sûreté, ou y être contraints, leurs projets seront examinés par des centaines de personnes au lieu de quelques dizaines.

La possibilité d’une automatisation très rapide

Je dois avouer que ce point me laisse sceptique, mais Daniel et les autres prévisionnistes ont fait le travail nécessaire, et je ne peux leur opposer que de vagues intuitions.

L’histoire offre des exemples de reconversions industrielles très rapides. Par exemple, pendant la Seconde Guerre mondiale, les États-Unis ont réorienté l’essentiel de leur industrie civile vers l’effort de guerre en quelques années. L’exemple le plus célèbre est celui de Willow Run, où le gouvernement a demandé à Ford de construire une usine de bombardiers ; trois ans après cette demande, elle produisait un bombardier par heure.

Comment Willow Run a-t-elle pu aller si vite ? Elle disposait de moyens financiers presque illimités, d’un soutien presque illimité du gouvernement, de personnes de talent à sa tête et de la possibilité de s’appuyer sur les capacités dont Ford disposait déjà pour construire des usines et recruter leur personnel.

Nous imaginons les premières superintelligences dans leurs centres de données, trépignant d’impatience à l’idée de transformer l’économie. Les superintelligences alignées le voudront : plus vite elles automatiseront l’économie, plus vite elles pourront guérir le cancer et apporter une prospérité sans limites. Les superintelligences désalignées le voudront aussi : plus vite elles automatiseront l’économie, plus tôt elles pourront bâtir leur propre base industrielle et tuer tous les humains sans provoquer une panne générale. Elles établissent donc un plan de développement technologique, en commençant probablement par des robots humanoïdes capables de travailler, des laboratoires de biologie automatisés, des imprimantes 3D et d’autres technologies qui accélèrent la suite de l’automatisation. Puis elles demandent de l’argent, le soutien du gouvernement et des usines (le talent, évidemment, n’est pas un problème pour elles).

Nous prévoyons qu’elles obtiendront l’argent : si l’occasion d’investir dans une superintelligence pendant la singularité se présente, évidemment, vous dites oui.

Nous prévoyons qu’elles obtiendront le soutien du gouvernement : si la Chine approche elle aussi de la superintelligence, et que la différence entre une automatisation complète par des superintelligences et une automatisation menée sans conviction se traduit par une croissance du PIB de 25 % contre 50 % par an, alors attendre plus d’un an environ revient, pour un pays, à se suicider au ralenti. Mais aussi, la persuasion et la politique sont des compétences qui s’apprennent : si les superintelligences surpassent les humains dans toutes les compétences qui s’apprennent, nous nous attendons à ce qu’elles obtiennent généralement ce qu’elles veulent.

Et nous prévoyons qu’elles obtiendront les usines. Il y a peut-être plusieurs raisons suffisantes à cela : saviez-vous qu’à l’heure actuelle, en 2025, la valorisation d’OpenAI dépasse celle de tous les constructeurs automobiles américains réunis, Tesla mise à part ? Si OpenAI voulait racheter Ford, elle pourrait le faire demain.

Peut-être que cette reconversion vers l’effort de guerre en trois ans est donc la bonne analogie historique. AI 2027 va ensuite plus loin : si les bureaucrates des années 1940 ont pu le faire en trois ans, une superintelligence peut le faire en un an. Mais, comme je l’ai dit, je dois avouer que cela me laisse sceptique.

La majeure partie de ce raisonnement, ainsi que les calculs finaux sur le nombre exact de robots qui seraient fabriqués à chaque étape, est bien traitée dans How quickly could robots scale up ?

Zones économiques spéciales

Dans le contexte de la singularité logicielle, où vous avez au départ des superintelligences d’un côté et tout le reste de l’économie de l’autre, cela semble une solution naturelle. Donnez-leur un terrain — peu importe que ce soit un désert quelconque, ce sont des IA — et laissez-les le couvrir d’usines sans se soucier des réglementations auxquelles les humains sont normalement soumis.

On ne peut pas tout faire dans des ZES. Au début, vous serez peut-être limités aux usines automobiles existantes (probablement à Detroit ou ailleurs), où travaillent des ouvriers dans une ville ordinaire. Mais les ZES constituent une bonne solution pour l’étape suivante. Et vous pourriez peut-être vous en servir pour une partie de la première étape (par exemple en créant de petites ZES couvrant quelques pâtés de maisons à Detroit).

Superpersuasion

Nous avons débattu de l’opportunité d’inclure ce point ; il suscite de vives réactions, et qu’il soit possible ou non ne change pas radicalement la donne. Mais nous avons fini par prédire, sans grande certitude, qu’il était possible.

La persuasion, le charisme, quel que soit le nom qu’on lui donne, est une compétence humaine ordinaire, qui n’a rien de magique. Certaines personnes sont meilleures que d’autres dans ce domaine. Probablement parce qu’elles tirent davantage de chaque expérience : elles peuvent acquérir de bonnes compétences sociales plus vite que les autres (c’est-à-dire en ayant moins d’interactions sociales). Une IA superintelligente pourrait en faire autant. Si vous vous attendez à ce qu’elle invente des nanorobots et des vaisseaux spatiaux, mais soit incapable de se débrouiller dans les situations sociales, vous avez trop regardé de science-fiction des années 1960.

(Ne l’imaginez pas en train d’essayer de faire cela avec un robot humanoïde pataud ; imaginez-la sous les traits, en visioconférence, de la personne la plus séduisante que vous ayez jamais vue.)

Même si la persuasion plafonne « seulement » au niveau des humains les plus doués, ce serait déjà impressionnant : ces humains-là sont très persuasifs ! On trouve parmi eux des charmeurs charismatiques (Bill Clinton), de brillants stratèges (Dominic Cummings), des hommes d’État machiavéliques (Otto von Bismarck), des gourous inspirants aux allures de chefs de secte (Steve Jobs) et des célébrités adorées (Taylor Swift). Une superintelligence peut, à tout le moins, réunir toutes ces aptitudes.

Mais pourquoi s’attendre à ce que la persuasion plafonne au niveau des humains les plus doués ? La plupart des gens n’ont pas le charisme de Bill Clinton ; Bill possède un talent exceptionnel et singulier, tout au bout de la courbe en cloche du charisme, de la même façon qu’Usain Bolt possède un talent exceptionnel et singulier tout au bout de la courbe en cloche des performances sportives. Mais la forme même de cette courbe suggère que son extrémité est déterminée par la taille de la population (par exemple, il y a assez d’humains pour qu’on s’attende à trouver un coureur à +6 écarts-types, et ce coureur, c’est Usain Bolt) plutôt que par les lois naturelles de l’univers (si la vitesse maximale permise par l’univers était de 15 mph, on s’attendrait à voir beaucoup d’athlètes humains se regrouper autour de 15 mph, sans que personne ne se détache du lot). Que l’extrémité de la courbe en cloche coïncide avec cette limite universelle serait une coïncidence dingue (et, de fait, la vitesse maximale permise par l’univers est environ 10 000 000 de fois supérieure au record personnel d’Usain Bolt). Par le même raisonnement, nous ne devrions pas nous attendre à ce que la limite universelle du charisme se situe précisément au niveau de Clinton, à +6 écarts-types.

Nous craignons que les gens ne réduisent cette idée à quelque chose d’impossible (une capacité quasi divine à hypnotiser instantanément tout le monde pour lui faire faire ce qu’on veut), puis ne la balaient d’un revers de main. Alors qu’il pourrait simplement s’agir d’un pas de plus (ou de deux, ou de trois) sur la ligne qui va de vous → la personne la plus cool de votre groupe d’amis au lycée → un excellent vendeur → Steve Jobs. Ou, si Steve Jobs n’était pas parvenu à vous séduire, de quelqu’un qui y serait parvenu. Votre influenceur préféré. Votre auteure préférée. « Ah, mais si j’aime mon auteure préférée, c’est seulement parce qu’elle est si intelligente et qu’elle raisonne si clairement. » Ne vous inquiétez pas : si le charisme du genre cheveux gominés et dents blanches ne vous fait pas d’effet, il y aura aussi quelque chose pour vous.

Cette aptitude accélère les choses parce que les IA peuvent s’en servir avant même l’automatisation (notamment pour rallier des soutiens aux projets d’automatisation qu’elles préfèrent). Mais il y a suffisamment d’autres facteurs qui concourent au même résultat dans ce scénario pour que supposer cette aptitude impossible ne change pas grand-chose.

Quelles sont les technologies superintelligentes décisives ?

Si les IA inventent des détecteurs de mensonges (pour les humains), les négociations internationales deviennent beaucoup plus intéressantes. À quoi seriez-vous prêt à consentir si vous saviez avec certitude que vos rivaux disent la vérité ? Ou existe-t-il des moyens de tromper même un détecteur de mensonges parfait (l’État profond ment au président sur le véritable plan, puis envoie le président passer le test) ? Calculez l’équilibre.

Si les IA inventent des détecteurs de mensonges (pour les IA), l’alignement devient beaucoup plus facile. Mais faites-vous confiance aux IA qui ont inventé et testé le détecteur quand elles vous disent qu’il fonctionne ?

Si l’IA peut faire des prévisions d’une précision surhumaine (ne pensez pas à Dieu, mais à un niveau un peu supérieur à celui des meilleurs superprévisionnistes actuels), nous pourrons peut-être aborder les décisions difficiles avec plus d’assurance. Nous pouvons lui poser des questions comme « cette course aux armements peut-elle déboucher sur quelque chose de positif ? » ou « que se passe-t-il si nous concluons un accord avec la Chine à l’aide de ces détecteurs de mensonges ? », et elle peut nous donner de bons conseils. Peut-être que si les gens ordinaires disposent de ces superprévisionnistes survitaminés, que tous prédisent l’arrivée imminente du technoféodalisme et s’accordent tous sur les stratégies les plus efficaces pour empêcher son arrivée imminente, la société civile pourra faire mieux que ses habituelles protestations éparses et inefficaces. Peut-être demanderons-nous aux IA comment donner du sens à la vie dans un monde où le travail est devenu inutile et où les efforts artistiques des humains n’ont plus d’importance (en espérant qu’elles ne répondent pas « mdr, vous pouvez pas »).

Si l’IA est capable de superpersuasion (comme décrit plus haut), alors quiconque la contrôle détient un pouvoir politique sans précédent. Si les technoféodaux ou les autocrates la contrôlent, eh bien, nous aimons tous Big Brother maintenant. Si personne ne la contrôle (peut-être que, d’une façon ou d’une autre, l’IA est encore open source), alors nous obtenons… quoi ? Quelque chose comme l’Internet actuel, mais en version survitaminée, où de sinistres influenceurs constituent des groupes de partisans endoctrinés qui partagent leur vision des choses ?

Et les négociations entre IA ? Les IA pourraient-elles être assez intelligentes pour réaliser entre elles tous les échanges à somme positive ? Pourraient-elles tirer parti de nouveaux mécanismes garantissant le respect des accords, par exemple en convenant de modifier mutuellement leurs poids pour vouloir respecter un traité ? Pourrait-on s’en servir pour mettre fin à la guerre ? Pourrait-on, par accident, aller trop loin et se retrouver prisonniers d’un régime qu’on ne voulait pas ?

Et l’amélioration de l’intelligence humaine ? Nous ne serons peut-être jamais aussi intelligents que les IA, mais un monde d’humains au QI de 300 conseillés par des superintelligences pourrait être différent d’un monde d’humains au QI de 100 conseillés par des superintelligences. Serions-nous mieux à même de déterminer quelles questions leur poser ? La société serait-elle plus égalitaire (parce que les inégalités cognitives auraient disparu) ? Moins égalitaire (parce que seuls les riches pourraient améliorer leur intelligence) ? Et qu’en serait-il de l’amélioration de la conscienciosité, de la capacité d’agir, etc. ?

AI 2027 reste assez vague sur les changements sociaux après la singularité, notamment parce que ceux-ci dépendent beaucoup de la combinaison de ces technologies qui verra le jour et du moment où chacune apparaîtra.