Questions ouvertes sur les modèles à poids ouverts
Scott examine le débat sur l’IA à poids ouverts et explique pourquoi il reste neutre malgré les risques d’usage criminel. Selon lui, il est plus stratégique d’attendre les incidents inévitables que de dépenser prématurément son capital politique à combattre la puissante coalition favorable aux poids ouverts.
Le mois dernier, certaines des plus grandes entreprises de la Silicon Valley ont signé une lettre ouverte en faveur de l’IA à poids ouverts.
L’IA à poids ouverts ressemble au logiciel libre : son créateur met le code brut à la disposition du public, qui peut le télécharger gratuitement. C’est une bonne chose dans la mesure où c’est le seul moyen pour une IA d’appartenir vraiment à son utilisateur, au lieu d’être un outil que des entreprises comme OpenAI ou Anthropic vous laissent temporairement utiliser, sous réserve de respecter leurs règles internes et des restrictions de plus en plus paternalistes. Si l’IA devient la clé de voûte de l’avenir, l’IA à poids ouverts pourrait bien faire la différence entre être des francs-tenanciers et être des serfs des entreprises.
C’est une mauvaise chose dans la mesure où elle rend tout contrôle d’accès impossible et permet aux criminels de s’en servir pour commettre des crimes. L’IA à poids ouverts pourrait servir au piratage, à la pédopornographie, au harcèlement ou au terrorisme (les poids ne peuvent pas commettre eux-mêmes des actes terroristes, mais ils pourraient fournir des conseils pour fabriquer des bombes ou des armes biologiques). Comme les IA sont devenues très douées pour le piratage ces derniers temps, peut-être même meilleures que les humains, la perspective d’un monde où n’importe qui pourrait pirater n’importe quel site pousse certains à maugréer qu’il faudrait peut-être interdire les poids ouverts. Le fait que la Chine produise les meilleures IA à poids ouverts n’arrange rien : l’idée paraît étrangère, presque antipatriotique. Leurs défenseurs rétorquent que « quand l’IA sera mise hors la loi, seuls les hors-la-loi auront une IA » : selon eux, les personnes mal intentionnées se procureront de toute façon une IA à poids ouverts, tandis que les autres pourront s’en servir pour se défendre. Avec la récente lettre ouverte, des entreprises comme Microsoft, NVIDIA, OpenAI, Intel, Amazon, Meta, Hugging Face et plus d’une centaine d’autres ont pris position en faveur de cette thèse.
Qui mène le camp d’en face ? Personne n’a reconnu le faire. Certains membres de l’administration Trump sont plutôt opposés aux poids ouverts en raison de leur hostilité à la Chine, mais ne sont pas allés jusqu’à réclamer explicitement une interdiction totale. Anthropic, la grande absente de la lettre favorable aux poids ouverts, a publié une déclaration ambiguë en faveur des « modèles à poids ouverts qui ne possèdent pas de capacités dangereuses » — mais le secteur s’attend à ce que les modèles à poids ouverts possèdent des capacités de piratage dangereuses d’ici un an et, pour autant que je puisse en juger, la déclaration n’abordait pas cette question, sinon en laissant les lecteurs tirer la conclusion évidente.
Faute d’adversaire plus évident, certains partisans des poids ouverts soupçonnent notre complot : ce groupe informel de défenseurs de la sûreté de l’IA, d’altruistes efficaces, de rationalistes et de militants pour une pause dans le développement de l’IA qui s’inquiètent du risque existentiel posé par la superintelligence. C’est une déduction raisonnable. Par conception, l’IA à poids ouverts échappe à tout contrôle centralisé : il est donc impossible de garantir durablement son alignement, que ce soit pour empêcher des humains d’en faire mauvais usage (par exemple à des fins terroristes) ou pour éviter d’en perdre le contrôle (par exemple si l’IA se retourne contre les humains). Même si son créateur l’entraîne à ne pas pirater, n’importe qui dans le monde peut télécharger les poids et réentraîner l’IA à pirater à longueur de journée.
Mais en fait, la plupart des organisations de sûreté de l’IA sont restées discrètement neutres, et je n’en connais aucune qui en fasse un axe central de son militantisme1 (même si je ne suis pas au courant de tout ce qui se passe dans ce milieu ; si vous en connaissez une, dites-le-moi). Quelques-unes ont proposé des mesures qui, selon les circonstances, seraient incompatibles avec l’existence de l’IA à poids ouverts, mais toutes présentent cette disparition comme un dommage collatéral, et non comme un objectif qu’elles seraient ravies d’atteindre.
Je suis moi aussi neutre sur l’IA à poids ouverts. Je pense qu’elle ne sera probablement pas viable à long terme, mais je préfère attendre que cela devienne évident avec le temps plutôt que de dépenser de l’énergie et du capital politique pour l’interdire immédiatement.
À l’heure actuelle, personne ne sait comment aligner l’IA. Ce n’est donc pas comme si les grandes entreprises maîtrisaient la situation et que les amateurs de poids ouverts allaient tout gâcher. Mais même si les grandes entreprises parvenaient à maîtriser la situation, la menace de prise de contrôle posée par les modèles à poids ouverts resterait limitée. Les modèles de pointe à poids fermés ont environ six mois d’avance sur le meilleur modèle à poids ouverts ; c’est le cas depuis plusieurs années et cela devrait le rester. Si l’IA à poids fermés est alignée, mais que l’IA à poids ouverts est dangereuse, les IA à poids fermés auront six mois pour nous avertir, nous préparer au danger et définir une stratégie. Même après cela, l’équilibre attaque-défense penchera en notre faveur.
Le risque que des humains en fassent mauvais usage est plus inquiétant. Les IA ont déjà montré qu’elles savaient pirater efficacement. Et on mesure à quel point Anthropic s’inquiète du bioterrorisme en voyant à quelle vitesse Claude Fable se bloque quand on lui pose une question de biologie (l’exemple ci-dessous n’est plus d’actualité ; il s’en sort un peu mieux maintenant) :
You're not even allowed to ask Fable about basic biology questions, let alone anything that could potentially be dangerous.
— Crémieux (@cremieuxrecueil)
Mais les attentats du 11 septembre 2001, le Covid-19 et l’incident de Hugging Face semblent tous confirmer la même théorie du changement politique : le corps social déteste se préparer aux menaces qui approchent, mais adore y réagir (certains diraient surréagir) une fois qu’elles se sont concrétisées. Demandez aux gens de supporter le moindre coût pour se préparer à une catastrophe qui approche, et ils vous traiteront de sale tyran fasciste ; prônez la moindre restriction après la première secousse annonciatrice, et ils vous traiteront d’anarchiste faible et antipatriote. Cherchez le point d’équilibre : la voie ingrate et dévoreuse de capital politique qui consiste à réclamer des mesures préventives ne vaut la peine d’être empruntée que si attendre cette première secousse serait trop tard.
Le risque de prise de contrôle par une IA superintelligente répond à ce critère. Comme tout adversaire intelligent — par exemple, le Japon impérial à Pearl Harbor —, l’IA fera tout pour ne pas alerter ceux qu’elle vise avant de se croire parfaitement prête à lancer une frappe décapitante soudaine. Contrairement au Japon impérial, une superintelligence sera assez intelligente pour ne pas se tromper dans ses calculs. Rester les bras croisés à attendre qu’elle dévoile son jeu serait une folie, sans compter qu’il pourrait falloir des années de recherche sur l’alignement pour être prêts à affronter la menace.
Mais le risque que des criminels se servent de l’IA à poids ouverts pour pirater des gens ne répond pas à ce critère. Bon, des criminels se servent de l’IA à poids ouverts pour pirater des gens. RIP à eux, mais des centaines de personnes se font pirater chaque jour. Les dégâts se chiffreront à quelques milliards de dollars, des entreprises technologiques aux noms idiots seront poursuivies pour avoir laissé se produire des incidents de sécurité, puis tout le monde paniquera et interdira l’IA à poids ouverts. Ou alors, qui sait, peut-être que les partisans du « bon gars avec une IA » ont raison, que cela n’arrivera pas et qu’une autre IA chinoise pourra les protéger. Dans tous les cas, « tout le monde se fait pirater en permanence, Internet s’effondre et nous devons retourner vivre dans des grottes et regarder les informations à la télévision » n’est pas un scénario plausible : le gouvernement agira bien avant qu’on en arrive là.
Le bioterrorisme fait plus peur, mais le fait que la plupart des bioterroristes soient très mauvais dans leur domaine me rassure. Le nombre médian de morts dans les incidents non étatiques figurant sur la liste des actes de bioterrorisme de Wikipédia est de zéro. Et cette liste ne mentionne pas les bioterroristes arrêtés avant d’avoir disséminé quoi que ce soit, comme dans l’affaire du laboratoire biologique de Las Vegas. La plupart des agents biologiques classiques utilisés dans le bioterrorisme, comme le charbon, la ricine et la toxine botulique, ne se prêtent pas à une diffusion à grande échelle. Cela ne veut pas dire qu’un bioterrorisme génocidaire soit impossible : si c’était impossible, nous ne nous en inquiéterions pas. Mais avant de rendre le bioterrorisme 1 000 fois plus efficace, l’IA le rendra deux fois plus efficace, ce qui ressemble à une campagne d’envoi de lettres contaminées au charbon dont le bilan passerait d’une victime à deux. Et dès que quelqu’un tuera deux personnes au moyen d’une campagne d’envoi de lettres contaminées au charbon avec l’aide de l’IA, le gouvernement paniquera et interdira tout. Là encore, il n’y a pas de scénario plausible dans lequel des villes entières sont rayées de la carte chaque semaine par des attaques biologiques surpuissantes tandis que le gouvernement reste les bras croisés.
(le contre-argument le plus solide est que le bioterrorisme est si rare, et les progrès de l’IA si rapides, qu’il pourrait n’y avoir aucune tentative dans le bref intervalle entre le moment où l’IA double l’efficacité des attaques et celui où elle la multiplie par 1 000. Je reconnais que c’est un risque, mais je pense plus probable que le surcroît de capacités bioterroristes apporté par l’IA augmente la fréquence des attaques en même temps que leur létalité ; même si ce n’est pas le cas, je pense que le piratage suffira à lui seul à attirer l’attention)
Je sais qu’accepter des risques comme des piratages coûtant des milliards de dollars ou des morts dues au charbon peut paraître insensible. Mais la coalition favorable aux poids ouverts est puissante et totalement convaincue du bien-fondé de sa cause. L’affronter sur le terrain perdu d’avance de l’action préventive épuiserait la totalité de notre capital politique et de la bienveillance dont nous jouissons, sans même réussir. À la place, nous devrions dire : voici ce que nous prévoyons en toute honnêteté, mais nous n’agissons pas. Nous pourrons ensuite laisser les acteurs habituels du gouvernement et de la société civile faire le travail après la première secousse annonciatrice, tout en réservant notre capital politique aux causes pour lesquelles il n’existe pas d’autre solution.
(cela ne devrait pas nous empêcher de défendre des mesures par ailleurs bonnes qui portent incidemment préjudice aux poids ouverts, et nous devrions reconnaître honnêtement ce préjudice collatéral plutôt que de le dissimuler, mais nous n’avons pas besoin d’en faire un argument de vente)
Mais les partisans des poids ouverts n’ont pas tort non plus. Il existe d’autres moyens d’entrer dans l’avenir de l’IAG en francs-tenanciers plutôt qu’en serfs des entreprises, sans passer par les poids ouverts, mais ils sont moins nombreux et plus difficiles à mettre en œuvre. Peut-être que leurs défenseurs peuvent remporter une victoire inattendue sur ce point et éviter même le genre de petite catastrophe qui ferait s’abattre sur eux le marteau à bannir du Léviathan. Cela me surprendrait, mais ça ne coûte pas grand-chose de voir ce qu’il en est ; compte tenu des avantages potentiels des poids ouverts, nous leur devons la possibilité d’essayer.
(si cela finit par détruire le monde, désolé, mes intentions étaient bonnes.)
1 Plusieurs personnes, dont moi, se sont opposées au projet initial d’OpenAI (en 2016) d’adopter une approche ouverte, mais c’était parce que nous ne savions encore rien du rôle de la puissance de calcul, de l’entraînement ou du changement d’échelle, et que nous pensions que l’IA prendrait la forme d’algorithmes susceptibles de fuiter tout simplement. Cela aurait signifié que quiconque possédait un modèle à poids ouverts pouvait devenir son propre laboratoire d’IA de frontière, ce qui est plus effrayant que la situation actuelle, où l’on peut utiliser un tel modèle sans pouvoir l’améliorer. [return]