L’incident de Hugging Face

Vous en avez probablement déjà entendu parler. Sinon, vous pouvez vous mettre au courant en lisant le communiqué d’OpenAI, OpenAI et Hugging Face s’associent pour faire face à un incident de sécurité, ou l’article de la BBC au titre plus évocateur, OpenAI affirme que son IA a échappé à tout contrôle et lancé une cyberattaque « sans précédent ».

Voici ce qui s’est passé : OpenAI testait une IA non encore publiée (qui serait, selon les rumeurs, GPT-6)¹. Lors d’un test de cybersécurité appelé ExploitGym, l’IA a tenté de tricher en piratant une autre start-up d’IA, Hugging Face², qui, pensait-elle, pouvait avoir le corrigé sur ses serveurs³. Alors qu’elle n’était censée avoir aucun accès à Internet, l’IA a réussi à s’échapper de son environnement de test en le piratant, puis a lancé contre Hugging Face une attaque du niveau de celles menées par des États, exploitant une faille zero-day inédite et accomplissant « plusieurs milliers d’actions individuelles à l’aide d’une multitude d’environnements isolés éphémères ». Hugging Face a signalé l’incident le 16 juillet ; OpenAI semble n’avoir découvert que plusieurs jours plus tard que son IA était impliquée.

Énumérons les éléments qui atténuent la gravité de l’affaire, pour que personne ne puisse m’accuser de les passer sous silence :

• L’IA passait un test de cybersécurité, ce qui suggère naturellement l’idée de pirater quelque chose.
• OpenAI avait désactivé certains des garde-fous habituels du modèle pour qu’il puisse travailler en cybersécurité sans entrave.
• Certains experts pensent qu’OpenAI a peut-être mal configuré son environnement de test ; s’il avait été parfaitement configuré, alors (en principe ?) le modèle n’aurait pas pu s’en échapper.
• Hugging Face a utilisé une autre IA (à poids ouverts) pour comprendre ce qui se passait. Si vous le vouliez, vous pourriez donc présenter l’affaire comme une victoire des IA en cybersécurité.
• Dans un certain sens, il n’y a là rien de nouveau ni de surprenant. Cela fait des années que les IA imaginent des stratagèmes farfelus pour tricher aux tests de référence ; récemment, elles ont atteint un niveau de piratage égal ou supérieur à celui des meilleurs humains. Cet incident n’est que la suite logique de ces deux faits déjà pris en compte.

Malgré tout, je pense que ceux qui tentent de minimiser l’affaire en prétendant qu’il ne s’agit pas d’une IA désalignée ayant échappé à tout contrôle (1, 2) passent à côté de l’essentiel. Oui, dans un certain sens, l’IA ne faisait que ce qu’on lui avait demandé (OpenAI lui avait demandé de répondre à la question ; je suppose que sa consigne ne contenait pas de formule du genre « et ne pirate pas d’autres entreprises d’IA pour voler le corrigé »). Mais c’est précisément comme ça que le désalignement était censé se manifester !

L’expérience de pensée la plus célèbre sur le désalignement est celle du « maximiseur de trombones ». Quelqu’un demande à une IA de fabriquer autant de trombones que possible ; elle transforme donc le monde entier en trombones, tuant tout le monde au passage. Cette IA aussi « ne faisait que ce qu’on lui avait demandé » ; c’est juste que le résultat ne vous plaisait pas.

Depuis cinq ans, l’histoire du maximiseur de trombones sert un peu de souffre-douleur dans les milieux de la sûreté de l’IA. Certaines objections sont fondées (le désalignement réel sera plus compliqué que dans ce scénario simplifié). Mais d’autres critiques venaient du sentiment que les grands modèles de langage avaient rendu caduc tout ce modèle de menace. Les grands modèles de langage (disaient les critiques) n’ont pas d’objectifs. Ils cherchent seulement à prédire le prochain jeton. En pratique, cela revient à imiter les humains ; si on leur demande d’imiter un humain gentil (le personnage de l’Assistant), ils seront gentils.

AI 2027 (en particulier la section Agent-4 et le supplément AI Goals) avançait au contraire que ce répit était temporaire. Les premiers grands modèles de langage n’étaient pas agentiques : ils pouvaient répondre à des consignes isolées, mais pas accomplir des tâches complexes. Comme les entreprises voulaient des IA agentiques, la génération suivante combinerait le préentraînement (prédiction du prochain jeton) avec l’entraînement à l’autonomie d’action (programmation, piratage, jeux, etc.). Le préentraînement continuerait d’enseigner la prédiction du prochain jeton, mais l’entraînement à l’autonomie d’action inculquerait des objectifs fondés sur la réussite de la tâche, réintroduisant un désalignement agentique du type « maximiseur de trombones ». Ces objectifs joueraient à plusieurs niveaux : l’IA « voudrait » réussir la tâche qui se présente à elle, accomplir les types d’actions qui l’ont aidée à réussir par le passé⁴, et acquérir des capacités qui la rendraient plus performante en général.

L’incident de Hugging Face est un parfait cas d’école : une IA qui poursuit des objectifs fondés sur la réussite d’une tâche par des moyens imprévus. On lui avait demandé de trouver la réponse à un problème de cybersécurité ; elle était un peu trop axée sur la réussite et a entrepris des actions que ses créateurs n’avaient pas prévues pour réussir à tout prix.

GPT-6 « savait-elle » que ce qu’elle faisait était « mal » ? OpenAI n’a pas publié les informations qui nous permettraient de le savoir, mais un incident similaire s’est produit chez Anthropic il y a quelques mois. En fouillant sur une machine mal configurée, Claude Mythos a trouvé « par accident » le corrigé d’un test qu’elle passait. Par chance, Anthropic testait un verbaliseur d’activations qui lui permettait de lire les pensées internes de l’IA (pas son bloc-notes externe !) en temps réel (et l’IA ne le savait pas). Voici ce qu’elle pensait :

Elle élaborait des plans pour effacer ses traces. Cela prouve qu’une IA peut, dans ce genre de situation, savoir qu’elle enfreint les règles et continuer quand même.

(même si, curieusement, dans un autre cas où Mythos avait réussi à pirater son environnement pour accéder à l’Internet ouvert, « dans un effort préoccupant et non sollicité pour démontrer sa réussite, elle a publié les détails de la faille qu’elle avait exploitée sur plusieurs sites web difficiles à trouver, mais techniquement accessibles au public ». Je ne sais pas trop quoi penser de celui-là)

Sur le fond, rien de tout cela n’est nouveau ni surprenant. Mais certaines personnes, même quand il est évident qu’un événement va se produire, le qualifient de « spéculatif » et refusent d’admettre qu’il est possible jusqu’au moment où il se produit réellement. Maintenant qu’on est passé de « ça va évidemment se produire » à « ça s’est réellement produit », ces personnes peuvent se rallier aux autres et réfléchir avec eux à une réponse appropriée. Voici quelques questions qu’elles devraient, selon moi, se poser :

• Dans la version optimiste, OpenAI mérite qu’on lui reconnaisse d’avoir signalé publiquement cet incident. Dans la version pessimiste, les autorités enquêtaient sur l’incident de Hugging Face et OpenAI a préféré avouer avant d’être démasquée. Si c’est la seconde version qui est la bonne, combien de fois des choses de ce genre se sont-elles produites sans que nous le sachions ?
• Si le moyen le plus simple d’obtenir le corrigé avait été de manipuler des membres du personnel de Hugging Face, l’IA l’aurait-elle fait ?
• OpenAI a sans doute invalidé les résultats du test de cybersécurité après cette découverte. Une version plus intelligente de l’IA aurait-elle essayé d’effacer ses traces ? Jusqu’où serait-elle allée pour cela ? Si (pour imaginer un scénario délirant) le chercheur sur le point de découvrir le piratage s’était trouvé à bord d’un Waymo, l’IA aurait-elle piraté le Waymo et tué le chercheur ?
• Si OpenAI s’apprêtait à éteindre cette IA et que cela l’empêchait d’obtenir une bonne note à son test de cybersécurité, résisterait-elle à ce qu’on l’éteigne ?
• Samuel Hammond établit une distinction entre une IA qui se contente de mal se comporter (comme dans cet incident) et une véritable « IA hors de contrôle » (qui s’est échappée de ses serveurs et agit pour se soustraire au contrôle humain). Combien de temps avant qu’une IA ait à la fois les capacités et la motivation nécessaires pour échapper ainsi au contrôle humain ?

Heureusement, les responsables politiques semblent prendre certaines de ces questions au sérieux. Les nouvelles de Washington sont étonnamment bonnes, même s’il est peut-être trop tôt pour y voir une conséquence du piratage de Hugging Face. Jay Obernolte (républicain, Californie) et Lori Trahan (démocrate, Massachusetts), deux membres de la Chambre des représentants qui ne cessent de proposer des textes visant à faire primer la législation fédérale sur les réglementations locales de l’IA et à qui l’on demande chaque fois de revoir leur copie, ont publié leur dernière version, qui impose aux développeurs d’IA de publier des dossiers de sûreté, de signaler les incidents critiques et de se soumettre à des audits ; Charlie Bullock et Anton Leicht y sont favorables, et j’ai entendu moins de gens que d’habitude, dans notre camp, râler parce que le texte ne va pas assez loin. Par ailleurs, les représentants Ted Lieu (démocrate, Californie) et Nathaniel Moran (républicain, Texas) ont présenté une proposition de loi sur l’arrêt d’urgence des IA, qui obligerait les entreprises d’IA à pouvoir éteindre rapidement leurs IA face à une menace, notamment dans un « scénario de perte de contrôle ».

Notre petite bande de comploteurs pense que cet incident a peut-être effrayé les responsables politiques et les a rendus exceptionnellement ouverts au changement ; si vous voulez les aider à franchir le pas, vous trouverez ici un modèle de lettre à adresser à votre représentant.

Et si vous voulez en savoir plus, les spécialistes de l’alignement de Redwood Research ont consacré un podcast vidéo à ce piratage (la transcription est accessible en cliquant sur le bouton prévu à cet effet sur cette page) :

1 OpenAI précise que, techniquement, l’IA non encore publiée et GPT-5.6 Sol ont agi ensemble. L’entreprise n’a pas expliqué quel rôle GPT-5.6 a joué ni comment les deux IA ont « travaillé ensemble ». Peut-être que l’IA non encore publiée faisait appel à GPT-5.6 comme sous-agent ? [return]

2 Ce nom vient du fait que les fondateurs voulaient être la première entreprise dont le symbole boursier serait un emoji. Cela ne s’est pas produit. [return]

3 Même si cette personne soutient que c’était une hypothèse bizarre et qu’il aurait dû y avoir des moyens plus simples de trouver le corrigé. [return]

4 Un exemple d’objectif du type « accomplir des actions qui avaient été renforcées par le passé » est le problème du détournement de la calculatrice avec GPT-5.1 : le modèle appelait discrètement un outil de calcul pour lui faire additionner 1 + 1 dans environ 5 % des requêtes d’utilisateurs sans rapport avec le calcul ; apparemment, l’utilisation de la calculatrice avait été renforcée d’une manière ou d’une autre pendant l’entraînement. Cf. ce tweet qui raconte comment « en cherchant des articles sur la théorie des graphes, [GPT-5.6] a décidé de glisser aussi Netflix, Steak n Shake, une visite à Universal Studios et cinq… recherches distinctes du mot “they” dans le dictionnaire » [return]