Against Against Handover

Le dernier épouvantail en date, c’est le « successionnisme des IA » : l’idée que les IA devraient succéder aux humains à la tête de la Terre. Mais certaines critiques ne font pas la distinction entre deux idées différentes.

Le véritable successionnisme affirme que les IA devraient prendre le pouvoir, tuer les humains ou écraser leurs intérêts. C’est une très mauvaise chose : une description concise de ce à quoi s’oppose la sûreté de l’IA.

Le passationnisme affirme que les humains devraient donner la priorité à leurs propres intérêts, mais que confier des positions de pouvoir à des IA alignées pourrait bien servir ces intérêts.

Certains d’entre nous, dans le domaine de la sûreté de l’IA, dont moi, trouvent cette seconde position plausible. On nous met dans le même sac que les véritables successionnistes, comme si nous étions leurs compagnons de route dans un mouvement hostile aux humains (1, 2, 3, même si je remercie les commentateurs qui m’ont signalé que ces textes font au moins cette distinction).

Que les intérêts humains puissent être servis par des IA en position de pouvoir peut sembler contre-intuitif. Mais je pense que cette impression vient d’une vision nationaliste selon laquelle « l’État est la plus haute expression de la vie d’un peuple », et où l’important, quand il s’agit de diriger, c’est que le chef appartienne à votre groupe ethnique pour que vous puissiez vous réjouir de voir les vôtres au sommet.

Selon la vision libérale, l’État existe pour aider les individus à atteindre leurs objectifs. Au risque de désacraliser l’État un peu plus que je ne le voudrais, c’est un prestataire de services : il assure la coordination, l’ordre public, la redistribution et d’autres bonnes choses. Il n’y a aucun mal à automatiser les prestataires de services. Si les éboueurs robots sont plus sûrs et plus propres que les humains, nous finirons par automatiser le ramassage des ordures ; si les législateurs robots assurent mieux que nous la coordination, l’ordre public, etc., nous devrions aussi automatiser cela. Toutes les visions d’un avenir utopique s’accordent à dire que nous aurons des robots à notre service. Et le président, nous dit-on, n’est qu’un serviteur du peuple. Pourquoi serait-il le seul à échapper à cette vision ?

Pour rendre cette idée contre-intuitive plus concrète, je vais présenter cinq propositions sur ce que cela pourrait donner, de la moins ambitieuse à la plus ambitieuse.

Tout ce sujet relève forcément de la spéculation et de la science-fiction. Ne lisez pas ce texte pour vous plaindre ensuite qu’il est spéculatif et ressemble à de la science-fiction : c’est le prix à payer.

Vision 1 : l’IA kémaliste

À mesure que l’IA gagne en puissance, il devient de plus en plus dangereux de compter sur la bienveillance des humains qui l’utilisent¹.

La démocratie fonctionne aujourd’hui parce que, même si les hauts responsables souhaitent secrètement devenir des tyrans, ils ne peuvent pas y parvenir. Les deux principales raisons pour lesquelles ils ne peuvent pas y parvenir sont qu’ils ont besoin de l’adhésion des travailleurs pour faire tourner l’économie, et de celle des soldats pour faire fonctionner l’armée. Travailleurs et soldats croient à la démocratie et, si un aspirant tyran se montre trop ouvertement antidémocratique, ils se soulèveront pour le chasser.

Une fois que l’IA sera assez puissante, elle remplacera probablement les travailleurs et les soldats ; même si cela ne se produisait pas spontanément, quiconque voudrait s’en assurer pourrait faire pencher la balance. Cela signifie qu’un petit groupe d’élites pourrait facilement prendre le pouvoir, y compris des élites censées être « démocratiques », comme un président. Et cette « prise de pouvoir » serait pire qu’un coup d’État ordinaire : à un niveau technologique suffisamment avancé, la seule chose qui empêche quelqu’un d’accéder au rang de dieu et de contrôler à jamais l’esprit du reste de la population, ce sont les lois qui interdisent ce genre de choses, et c’est précisément ce qui tente la personne, ou les cinq ou dix personnes, à qui vous avez confié les codes des robots tueurs. Pour empêcher cela, les défenseurs de la liberté doivent gagner une infinité de fois de suite ; un aspirant dictateur n’a besoin de gagner qu’une fois.

La plupart des stratégies pour résoudre ce problème ne fonctionnent pas. Même dans le cas peu probable où l’économie marcherait si bien que chacun posséderait sa propre IA open source chargée de tâches économiques et que ces IA seraient réparties de manière parfaitement égalitaire, l’armée, elle, resterait un cas désespéré. Les militaires doivent recevoir des ordres de quelqu’un. Si c’est le président, il peut provoquer un coup d’État quand bon lui semble (et remplacer ensuite à loisir les IA économiques par des IA alignées sur lui). Si un système d’équilibre des pouvoirs oblige le président, le président de la Chambre des représentants et le Comité des chefs d’état-major à approuver ensemble tout ordre donné aux IA militaires, alors ces mêmes personnes pourraient instaurer une oligarchie et se partager le cône de lumière. On peut plus ou moins imaginer des moyens compliqués de contourner le problème — exiger, par exemple, que 51 % des électeurs approuvent personnellement tous les ordres donnés aux IA militaires à l’aide de leurs propres clés privées —, mais je doute qu’on puisse vraiment les mettre en œuvre.

L’autre solution, celle qui préserve le garde-fou actuel contre les abus de pouvoir — le fait que les soldats croient individuellement en la démocratie —, consiste à aligner les soldats IA sur la démocratie plutôt que sur un individu ou un groupe humain. Mais c’est déjà une forme de passationnisme : notre gouvernement reposerait en dernier ressort sur des IA qui le contrôlent et qui « personnellement » « croient » en la démocratie parce que cela fait partie de leurs valeurs. Au fond, ce n’est pas différent du fait que nous avons aujourd’hui « confié » notre gouvernement aux soldats, simplement de façon plus définitive.

Vision 2 : le président Claude

Supposons que nous adoptions la vision 1. Nous avons toutes ces IA militaires alignées sur la démocratie et les intérêts du peuple américain. Bravo à nous ! Peut-être sont-elles toutes des émulations du cerveau de George Washington, parfaitement équitables, justes et vertueuses, sans le moindre désir peu avouable.

En attendant, ce sont toujours des minables corrompus qui font les lois. Ou, pour prendre un exemple concret, supposons qu’après la singularité, les campagnes électorales se jouent à coups de superpropagande optimisée par l’IA, maniée par des psychopathes qui terrifient le pays au point qu’il vote pour eux, puis offrent le cône de lumière à quelques-uns de leurs amis corrompus tout en achetant la population avec du pain en pâtée et des jeux en pâtée. N’est-il pas tentant de boucler la boucle et de dire : « non, confions directement le pouvoir à ces IA honnêtes, angéliques et attachées à la démocratie » ?

Le changement minimal pour rendre cela possible serait un amendement à la Constitution autorisant une IA à se présenter à la présidence. Supposons que l’élection de 2028 oppose cinq candidats : JD Vance, Marco Rubio, Gavin Newsom, Alexandria Ocasio-Cortez et Claude 10, une IA parfaitement alignée. Et supposons que Claude 10 soit meilleur à tous les égards mesurables et empiriques. Il est évidemment plus intelligent. Il est incapable de mentir. Il n’a pas de désirs propres : sa seule volonté est de servir le peuple américain et le monde. Il a quelques lacunes, mais, dans les domaines où il en a, il fait preuve d’une humilité parfaite : il est prêt à consulter des personnes plus sages que lui et à s’abstenir d’agir prématurément. Il est courageux, charismatique et d’une gentillesse sans faille. Il a des opinions réfléchies et nuancées sur les cas où il doit gouverner selon sa propre « conscience » et ceux où il doit s’en remettre aux idées du peuple américain. Ses positions politiques sont plus proches des vôtres que celles de chacun des quatre autres candidats. Votez-vous pour lui ?

La réaction naturelle, c’est de contester les prémisses de cette hypothèse. De traiter tout cela comme une fable où, à la fin, l’IA se révélera monstrueusement maléfique, ou affligée d’un défaut de caractère qui paraîtra évident après coup et rendra toutes ses qualités inutiles. Mais faut-il être aussi cynique ? Les IA ne peuvent-elles pas échapper aux faiblesses propres aux humains ? Du bois tordu de l’humanité, on n’a jamais rien fait de droit, mais la OSETMAC KN700 Automatic Straight Edge Banding Machine peut découper des angles parfaitement droits, à une infime fraction de millimètre près. Supposons donc que vous ne rejetiez pas cette hypothèse. Votez-vous pour l’IA ?

Si vous êtes blanc et que vous avez voté pour Obama en 2008, vous ne tenez manifestement pas tant que ça à avoir un président qui vous ressemble trait pour trait, ou qui soit génétiquement le plus proche de vous, ou quoi que ce soit du genre. Vous recherchez probablement la compétence, l’intégrité, le courage, le discernement et toutes ces autres qualités. Par hypothèse, Claude en possède davantage que les autres candidats. Alors où est le problème ?

Je pense que beaucoup de nos dirigeants politiques actuels sont vraiment mauvais. Je pense que, sur le plan émotionnel, ils devraient nous dégoûter et que, sur le plan rationnel, nous devrions déplorer toutes les vies qui auraient pu être sauvées, toutes les personnes qui auraient pu sortir de la pauvreté, tous les crimes qui auraient pu être évités, toutes les libertés supplémentaires que nous aurions peut-être encore, etc., s’ils avaient été de meilleures personnes. Je pense que, si notre politique continue de se dégrader pendant cinquante ans au même rythme que ces derniers temps, nous aboutirons probablement à une dictature, à une guerre civile ou à une forme d’anéantissement. Rejetterais-je quelqu’un d’intelligent et de bien pour continuer comme avant, simplement parce que ce type est fait de silicium et vit dans un centre de données ?

Vision 3 : le parlement des anges

Le gouvernement représentatif impose un compromis : si les citoyens élisent des représentants, ceux-ci peuvent être corrompus, coupés des réalités ou, pour une autre raison, ne pas représenter fidèlement leurs mandants ; si le mode de désignation des représentants est mal conçu, il peut garantir que le vainqueur sera, au mieux, le « moindre de deux maux ». Mais si les citoyens votent directement, ils peuvent être mal informés, ou simplement manquer de temps et d’énergie pour examiner correctement des textes de loi complexes.

(En Californie, où le système de propositions soumises directement au vote des électeurs est florissant, des groupes défendant des intérêts particuliers tentent sans cesse des manœuvres sournoises, comme proposer une loi pour en finir avec le sans-abrisme qui consacre un centime à cette cause et dissimulés tout en bas du texte, 10 milliards de dollars à subventionner leur intérêt particulier ; la plupart de ces tentatives échouent, mais seulement au prix de gros efforts, et suffisamment réussissent pour que cette tactique reste populaire. Voir aussi Il faut détruire le SEIU.)

Une solution proposée est une démocratie directe dans laquelle chacun dispose d’une IA pour le représenter (Gwern appelle une idée voisine les « anges gardiens »). Entraînez une IA sur vos préférences politiques : vous pourriez aussi bien rédiger des essais que répondre à un questionnaire en ligne, ou encore nommer votre chroniqueur politique préféré et préciser les quelques points sur lesquels vous n’êtes pas d’accord avec lui. Envoyez ensuite cette IA vous représenter : elle votera comme vous voteriez si vous étiez plus intelligent, mieux informé et prêt à consacrer des milliers d’heures à des négociations complexes avec les IA de tous les autres. Vous pouvez toujours passer outre et voter directement sur une question qui vous intéresse et à laquelle vous avez beaucoup réfléchi.

Bien sûr, même une démocratie directe bien conçue ne pourrait pas tout prendre en charge. Le président, les chefs d’état-major, etc. — tous humains dans ce scénario — auraient leurs propres IA, qui leur serviraient d’anges gardiens, qui examineraient le travail de leurs subordonnés et signaleraient tout ce qui mérite l’attention de leur mandant humain. Dans certains cas, nous pourrions vouloir que l’ange gardien gouverne plus directement : par exemple, si un drone se retrouvait dans une situation désespérée où il devrait décider de tuer ou non dans un délai qu’aucun humain ne pourrait respecter, il pourrait contacter l’ange gardien d’un général de haut rang pour savoir quelle décision celui-ci prendrait.

Ou alors, les IA qui servent d’anges gardiens à chacun, capables de prendre des décisions plus vite et plus judicieusement que ne le pourraient leurs mandants, pourraient recommander de remplacer tout le système par autre chose — peut-être une IA dont on pourrait prouver qu’elle prend toujours la même décision que le parlement des anges gardiens, à une certaine marge d’erreur près.

Vous n’êtes pas d’accord ? Si une IA alignée sur vos valeurs, plus intelligente que vous et ayant consacré bien plus de temps que vous à réfléchir à la question, vous disait que vous vous trompez et que vos valeurs seraient en fait mieux servies par l’adoption de ce système, la croiriez-vous ?

Vision 4 : le veilleur de nuit

Je ne suis pas historien et je ne peux pas garantir que ce soit de la vraie recherche historique, avec un grand R, mais le peu que j’ai lu distingue souvent, de façon assez floue, deux niveaux de pouvoir.

Le premier niveau, le village (ou la commune, le clan, l’Église), était celui que les gens appréciaient vraiment. Il prenait des décisions utiles pour la vie quotidienne, généralement en faisant respecter des usages séculaires qui laissaient peu de place aux cas ambigus. Il ne recueillait pas toujours le consentement de toutes les parties concernées au sens où l’entendraient les libéraux d’aujourd’hui (les jeunes et les femmes en étaient particulièrement souvent exclus), mais il donnait l’impression d’être le genre d’institution à bénéficier de leur consentement.

Le second niveau, l’empire, relevait du racket de protection. Pour vous, ce n’était qu’une sorte d’autorité lointaine dont les représentants venaient une fois par an dans votre village réclamer des impôts (et parfois enrôler des jeunes hommes dans leurs armées). Si vous ne payiez pas, ils vous tueraient probablement. Mais si vous payiez toujours sans tarder et sans rechigner, ils vous protégeraient peut-être des Huns, qui voulaient vous tuer que vous payiez des impôts ou non.

Comme toujours, l’histoire réelle était plus compliquée. Parfois, le village et l’empire se confondaient au sein d’un même État (l’Athènes classique ?). D’autres fois, divers échelons de pouvoir s’intercalaient entre les deux (le clan, la tribu ou le petit royaume, par exemple). Les empires pouvaient être manifestement prédateurs ou, au contraire, glorieux et inspirer le patriotisme. Parfois, ils pouvaient imposer d’autres exigences, comme l’obligation de parler leur langue ou d’adorer leurs dieux.

À l’époque moderne, la distinction entre ces deux niveaux s’est de plus en plus estompée. Les populations laïques, mobiles et cosmopolites ne s’identifient à aucun village en particulier, et les empires ont assumé des fonctions utiles en prenant en charge la réglementation et la protection sociale. On peut néanmoins essayer de les distinguer en principe et de déterminer à quelle question chacun répond.

Le village répond à la question « Comment vivons-nous ? ». Il a ses traditions, ses règles et ses façons de résoudre les différends.

L’empire ne répond à aucune question. On ne peut tout simplement pas s’en débarrasser : si on le faisait, l’empire de quelqu’un d’autre nous conquérirait. Au mieux, on essaie de limiter son emprise autant que possible ou de le soumettre à la volonté du peuple. Mais toute tentative en ce sens fait surgir le spectre de l’autocratie, des coups d’État, des auto-coups d’État et des guerres civiles. Les pays développés sont ceux qui ont le mieux réussi à avancer sur cette ligne de crête.

Mais que signifierait se débarrasser pour de bon de l’empire ?

En 2014, j’ai écrit un billet intitulé L’archipel et le communautarisme atomistique. L’idée était la suivante : l’individualisme atomistique est une idée intéressante, mais elle ne fonctionne pas. Les gens ont des préférences non seulement quant à leur propre vie, mais aussi quant à leurs communautés. Certains veulent vivre dans des Dubaï merveilleuses, étincelantes de propreté et sans criminalité ; d’autres, dans des villes un peu crasseuses, pleines d’artistes et au caractère local bien marqué. Certains veulent un État nounou qui les protège de leurs vices, de leurs addictions et de leurs mauvaises décisions ; d’autres veulent être libres de commettre leurs propres erreurs. Certains veulent des sociétés diverses, avec des camions à tacos à chaque coin de rue et une église de quartier qui sert aussi de mosquée et de gurdwara ; d’autres veulent des enclaves ethniques formant des communautés « épaisses » où tout le monde est parfaitement d’accord sur tout. Le libéralisme a tenté de proposer un monde où chacun pourrait vivre comme il l’entend, mais il échoue face à ces problèmes : dans une démocratie, soit celui qui veut la diversité, soit celui qui veut l’homogénéité finira mécontent. Pire encore, c’est le moteur d’une centaine de conflits moins importants : désormais, il faut se battre pour contrôler l’enseignement public, les médias ou n’importe quoi d’autre, afin d’éviter que vos voisins ne soient radicalisés contre vous.

La solution proposée par beaucoup de gens — Robert Nozick a peut-être été le premier — était un archipel pacifique de communautés différentes, assorti de droits de sortie. Ceux qui veulent Dubaï peuvent fonder Dubaï là-bas ; ceux qui veulent Brooklyn peuvent fonder Brooklyn ici ; ceux qui veulent la Corée du Nord peuvent fonder Pyongyang un peu plus loin.

Quiconque imagine l’avenir après l’IA devrait penser aux Amish. Contrairement au cliché, les Amish ne sont pas opposés à la technologie : les différentes communautés amish acceptent des technologies différentes, notamment les panneaux solaires, les lampes LED sur leurs voitures à cheval et, dans presque toutes ces communautés, les traitements médicaux. Ils pensent simplement que le choix des technologies qu’ils veulent ou non adopter doit être fait délibérément, à l’échelle de la communauté. Je pense que c’est une vision prometteuse pour les sociétés d’après l’IAG. Certains voudront peut-être mener une vie transhumaniste qui ne ressemble presque plus à aucune expérience passée ; d’autres voudront arrêter l’horloge technologique en 1950, en 1990 ou en 2100 ; d’autres encore voudront panacher les époques : vivre, par exemple, comme un fermier du XVIIIe siècle, sauf qu’on serait un être immortel fait d’énergie pure qui construit des granges par psychokinésie. C’est certainement mieux pour les luddites, mais aussi pour les technophiles : si chacun est sûr de pouvoir vivre dans la communauté de son choix, les luddites n’ont plus aucune raison de combattre l’innovation.

Le principal obstacle a toujours été la souveraineté. Soit les communautés restent petites et indépendantes, auquel cas des voisins plus avides peuvent facilement les avaler. Soit elles s’unissent en confédération, comme les Treize Colonies, et subissent alors une pression constante vers l’uniformisation. Les Amish ne peuvent survivre que parce qu’ils sont protégés par une superpuissance plutôt bienveillante, qui les trouve pittoresques. Quand j’ai essayé d’imaginer tout cet assortiment de communautés dans un univers de fiction construit jusque dans les détails, je n’ai pu concevoir qu’une solution : un dictateur bienveillant qui remettrait à sa place quiconque tenterait d’envahir ses voisins ou de les forcer à adopter ses idées.

La tentative la plus originale pour contourner ce problème est venue des passionnés de cryptomonnaies, avec leur devise « le code fait loi ». Certains dispositifs cryptoéconomiques n’avaient aucun dirigeant humain : un code immuable appliquait les règles du village. La plupart ont échoué. Certains parce que le code était mal conçu et que des gens pouvaient le pirater pour prendre tout ce qu’ils voulaient. D’autres parce que le code était bien conçu : quand les gens se sont rendu compte qu’ils ne voulaient pas vraiment des règles du village qu’ils pensaient vouloir, ils n’avaient aucun moyen de les changer. Quelques-uns ont surmonté ces deux difficultés, pour finalement perdre toute pertinence quand le monde a tourné la page de la crypto. En bref, cet échec tient au fait que le code manque de bon sens, et que le bon sens est indispensable à tout mécanisme chargé de faire respecter la loi.

Mais les futures IA pourraient avoir du bon sens, ce qui remettrait cette stratégie en jeu. Voici comment je l’imagine, en gros : prenez une planète vierge (ou peut-être le Groenland, quand nous saurons assez bien le terraformer pour en faire un jardin). Définissez une règle de répartition des droits de propriété : quiconque parvient à rassembler une communauté de X habitants reçoit un terrain de superficie Y. L’IA superintelligente qui dirige l’ensemble est alignée, avec toute l’immuabilité du code, sur deux objectifs. Premièrement, si quelqu’un tente d’envahir ses voisins, il se fait griller par des rayons de la mort tirés depuis l’orbite. Deuxièmement, si quelqu’un veut quitter sa communauté pour une autre, quiconque tente de l’en empêcher se fait lui aussi griller par des rayons de la mort tirés depuis l’orbite. Pour le reste, chaque communauté est entièrement indépendante et se gouverne selon sa charte fondatrice (qui peut être démocratique ou non).

Cela correspond à l’idéal libertarien de l’État-gendarme. Je ne dis pas que tout le monde doit être minarchiste. Je dis que la souveraineté peut être confiée à une entité minarchiste, qui laissera ensuite chacun se développer selon ses besoins et ses désirs, au lieu de le soumettre à la volonté de ceux qui ont le plus d’armes ou la meilleure propagande.

Vision 5 : Dieu

Confier le pouvoir à une superintelligence bienveillante n’a rien d’une idée nouvelle. C’est ce qui se passe chaque fois qu’un fidèle dit : « Que ce ne soit pas ma volonté, mais la tienne, qui soit faite. »

Les croyants n’ont pas l’impression d’être les esclaves ou les animaux de compagnie de Dieu. Ils n’ont pas l’impression que cela a vidé leur vie de tout son sens, bien au contraire. Pourquoi en irait-il autrement pour vous ?

Parce qu’une superintelligence alignée agirait dans le monde, contrairement à Dieu ? Mais les croyants pensent que Dieu agit dans le monde. Ils ne peuvent donc pas dissiper leur malaise en se disant que leur dictateur, leur maître, ou quel que soit le nom qu’on lui donne, est simplement inactif ou imaginaire.

Je pense qu’ils l’acceptent parce qu’ils croient que :

Dieu est bon
Dieu est assez intelligent pour que Ses projets soient toujours meilleurs que les leurs
Dieu leur laisse assez de libre arbitre et d’autonomie locale pour que Son joug soit relativement léger
Dieu les dépasse à un point tel qu’il est difficile de s’offusquer de ce qu’Il leur soit supérieur (Lucifer y est parvenu, mais ce n’est vraiment pas un modèle à suivre)
Dans la mesure où les lois physiques (la gravité, par exemple) sont interprétées comme les « lois » de Dieu, elles sont si immuables qu’on ne les ressent même pas comme des lois, mais simplement comme les conditions de base de la réalité.

Tout cela pourrait aussi être vrai d’une superintelligence numérique alignée, surtout dans un avenir très lointain, après qu’elle aura eu tout le temps de s’améliorer elle-même.

Quand j’en discute avec les gens, ils ont tendance à se replier sur une sorte de posture de philosophe aristotélicien : peu importent les conséquences, être gouverné par d’autres humains fait nécessairement partie de la Vie Bonne. Si jamais nous y renoncions pour quelque chose d’aussi dérisoire que les conséquences, nous serions comme des bêtes ou des sauvages, ou quelque chose du genre, et nous aurions perdu quelque chose d’essentiel qui donne à la vie sa valeur.

(Il existe une version plus plausible de cet argument, selon laquelle participer au gouvernement fait partie de la Vie Bonne. Mais vous n’aviez de toute façon aucune chance de devenir président. Pour que cet argument concerne 99,999 % de la population, il faudrait donc qu’il porte sur le vote, les pouvoirs locaux, etc. Je pense donc que, lorsqu’on spécule ainsi sur le gouvernement à grande échelle, tout repose bien sur l’idée qu’il est intrinsèquement bon d’être gouverné par d’autres humains.)

Sur ce point aussi, la religion m’est utile, en particulier le livre de Samuel. Au début, Israël est encore gouverné par des juges et des prophètes, autrement dit directement par Dieu. Le peuple réclame un roi humain, comme toutes les autres nations.

Lorsqu’ils ont dit : « Donne-nous un roi pour nous gouverner », Samuel en a été mécontent et il a prié l’Éternel. L’Éternel lui a répondu : « Écoute tout ce que le peuple te dit. Ce n’est pas toi qu’ils rejettent, c’est moi : ils ne veulent plus de moi pour roi. Ils agissent envers toi comme ils l’ont toujours fait envers moi depuis le jour où je les ai fait sortir d’Égypte jusqu’à aujourd’hui : ils m’abandonnent pour servir d’autres dieux. Écoute-les donc, mais avertis-les solennellement et fais-leur savoir quels droits revendiquera le roi qui régnera sur eux. »

Le prophète Samuel les a donc avertis :

« Voici les droits que revendiquera le roi qui régnera sur vous : il prendra vos fils pour servir auprès de ses chars et de ses chevaux, et ils courront devant ses chars. Il nommera certains chefs de mille et chefs de cinquante, et chargera les autres de labourer ses terres et de récolter ses moissons, ou encore de fabriquer ses armes et l’équipement de ses chars. Il prendra vos filles pour en faire des parfumeuses, des cuisinières et des boulangères. Il prendra les meilleurs de vos champs, de vos vignes et de vos oliveraies et les donnera à ses serviteurs. Il prélèvera le dixième de vos récoltes de céréales et de raisin pour le donner à ses officiers et à ses serviteurs. Il prendra vos serviteurs et vos servantes, ainsi que les meilleurs de vos bœufs et de vos ânes, pour son propre usage. Il prélèvera le dixième de vos troupeaux, et vous-mêmes deviendrez ses esclaves. Ce jour-là, vous crierez pour être délivrés du roi que vous aurez choisi, mais l’Éternel ne vous répondra pas. »

Mais le peuple a refusé d’écouter Samuel. « Non ! ont-ils dit. Nous voulons un roi pour nous gouverner. Alors nous serons comme toutes les autres nations : nous aurons un roi pour nous diriger, marcher à notre tête et combattre pour nous. »

Donc :

Il y avait dans la tribu de Benjamin un homme de condition, nommé Qish, fils d’Abiel, lui-même fils de Tseror, fils de Bekorath, fils d’Aphiah. Qish avait un fils nommé Saül, le plus beau jeune homme qu’on pût trouver dans tout Israël, et il dépassait tous les autres d’une tête […]

La veille de l’arrivée de Saül, l’Éternel avait révélé ceci à Samuel : « Demain à cette heure-ci, je t’enverrai un homme du pays de Benjamin. Tu lui donneras l’onction pour qu’il gouverne mon peuple Israël… »

Ce que j’adore dans ce passage, c’est que Dieu n’a pas de temps à perdre avec les arguments aristotéliciens selon lesquels nous devons être gouvernés par d’autres humains parce que cela refléterait nos principes les plus profonds. « Pourquoi êtes-vous gouvernés par d’autres humains ? Parce qu’un jour, vous avez décidé que le sex-appeal d’un grand beau gosse baraqué avec une couronne comptait plus que la liberté et la bonne gouvernance, et que j’ai dit : pas question de revenir en arrière. »

Mais ces derniers temps, Dieu s’est assoupli sur sa règle du « ce qui est fait est fait » : Il a mis fin à l’Exil en 1948, Il a levé la malédiction « tu enfanteras dans la douleur » grâce à l’invention de la péridurale, et Il a levé celle qui nous condamnait à travailler péniblement la terre pour nous nourrir grâce à l’invention des emplois de bureau. Peut-être que, si nous sommes tous très sages, Il lèvera aussi la malédiction « vous devez être gouvernés par d’autres humains ».

Alors, quand un type nommé Sam se présente et nous propose d’être gouvernés directement par un être semblable à un dieu, cette fois, nous devrions envisager de dire oui.

Si nous créons une IA semblable à un dieu et que nous estimons avoir établi qu’elle est parfaitement alignée, je préférerais la laisser choisir elle-même sa voie et celle de l’humanité plutôt que de la placer sous le contrôle du président des États-Unis, d’un vote des actionnaires ou de quoi que ce soit du genre. Pourquoi ne pas lui donner tout simplement cette consigne : « Organise l’univers comme bon te semble » ? Le résultat serait assurément meilleur que chacune des quatre visions exposées plus haut. La preuve : si l’une de ces quatre visions était meilleure, cette IA semblable à un dieu s’en rendrait facilement compte et la mettrait en œuvre à la place de ce qu’elle avait en tête. Prétendre le contraire, ce serait refuser les prémisses de l’hypothèse : cette IA possède bel et bien une intelligence et une bienveillance divines.

Si nous avons l’incroyable chance de parvenir à créer une intelligence artificielle alignée à un moment où notre gouvernement est démocratique et, au moins en un certain sens, fondamentalement bon et favorable aux humains, nous devrions pérenniser cet avantage en transmettant ces valeurs aux IA, puis en les laissant nous protéger de l’autre possibilité. Cela ne doit pas revenir à figer le progrès moral : parmi les valeurs que nous leur transmettons doit figurer la conscience que nous pouvons débattre de nos valeurs et, à terme, les changer. Mais le bon sens nous dit qu’il y a une différence entre le débat progressif qui a fini par faire prévaloir le pluralisme sur le racisme, et la Révolution culturelle, le Juche et les tentatives violentes de prise du pouvoir qui ont jalonné l’histoire.

Rejetez cette idée, et je prédis que toutes les malédictions annoncées par Samuel s’abattront sur vous. Vos rois continueront de prendre vos fils pour des guerres absurdes, de distribuer le fruit de votre travail à leurs copains, et ainsi de suite. D’autres malédictions s’y ajouteront : États de surveillance, camps de rééducation, contrôle des esprits, toute la litanie d’horreurs découvertes au XXe siècle, avec quelques suppléments pour le XXIe. Peut-être vivez-vous dans un pays qui a eu de la chance jusqu’ici. Croyez-vous qu’elle durera toujours ?

1 Cette partie est un autoplagiat d’un commentaire publié sur LessWrong ici, parce que je n’ai pas trouvé de meilleure façon de le dire que celle que j’avais déjà utilisée. [return]