Que Dieu nous vienne en aide, essayons d’en apprendre plus sur les techniques d’interprétabilité mécaniste

Résumé des épisodes précédents

L’interprétabilité mécaniste est la science qui consiste à « lire dans les pensées d’une IA ».

Les grands modèles de langage sont « cultivés, pas construits ». Les chercheurs font passer des données d’entraînement dans un réseau de neurones. À terme, cela produit une IA qui fonctionne ; personne ne sait vraiment comment.

Mais un réseau de neurones n’est qu’un ensemble de neurones simulés sur un ordinateur. La personne qui dispose de l’ordinateur peut voir les neurones, les connexions entre eux et ceux qui s’activent quand l’IA répond à des questions. Il devrait donc être possible de reconstituer le fonctionnement de l’IA. Ce serait utile sur le plan scientifique : on comprendrait comment fonctionnent les IA, avec peut-être des enseignements pour la cognition humaine. Ce pourrait aussi être utile en pratique : repérer les circuits responsables de la malhonnêteté, des hallucinations, des biais et d’autres comportements indésirables, puis les modifier.

Malheureusement, c’est très difficile. Une IA moderne possède des millions de neurones et des milliers de milliards de connexions entre eux (aussi appelées « paramètres » ou « poids »). Leur organisation semble n’avoir aucun sens : les chercheurs ont d’abord cherché à faire correspondre chaque neurone à un concept, par exemple en trouvant un neurone qui s’activerait toujours quand l’IA penserait aux chats, mais ils ont vite compris qu’il n’existait rien de tel.

Leur première grande percée a eu lieu en 2023. Au lieu d’une correspondance terme à terme entre neurones et concepts, ils ont découvert une correspondance plusieurs-à-plusieurs. L’activation simultanée des neurones 1 et 2 pourrait signifier « chat » ; celle des neurones 1 et 3, « chaise » ; celle des neurones 2 et 3, « pain ». Ces correspondances permettent à des IA dotées de « seulement » quelques dizaines de milliers de neurones de représenter des millions de concepts. Il y avait beaucoup trop de combinaisons de ce genre pour que des humains puissent les répertorier, mais les chercheurs ont chargé d’autres IA, plus petites, de le faire et ont obtenu quelques premiers résultats encourageants — comme cette combinaison fonctionnelle de neurones (« caractéristique ») représentant « Dieu » dans une IA artificiellement simplifiée à 512 neurones :

L’enthousiasme était à son comble. Il suffisait d’utiliser une IA interprète plus puissante, et peut-être pourrait-on tout faire ! Les philosophes pourraient découvrir les fondements de la cognition. Les catastrophistes pourraient résoudre le problème de l’alignement en retraçant les circuits impliqués dans le raisonnement moral. Des dizaines de millions de dollars ont afflué vers le domaine. Chris Olah, chercheur vedette en interprétabilité, a été reçu par le pape (bon, d’accord, ça n’avait pas grand-chose à voir).

En 2024-2025, la belle clarté de la correspondance plusieurs-à-plusieurs s’était dissipée, et tout le monde se sentait de nouveau perdu et abattu. Les méthodes qui avaient permis d’analyser avec succès des IA artificiellement simplifiées servant de sujets de recherche ne fonctionnaient pas sur de vrais modèles de langage. Différentes équipes établissant des correspondances plusieurs-à-plusieurs pour la même IA obtenaient des résultats différents. Et les humains qui examinaient de plus près des IA supposément cartographiées constataient que les caractéristiques qui semblaient si nettes étaient bien plus floues et moins fiables que ne le laissaient penser les analyses précédentes : une caractéristique censée signifier « Dieu » pouvait s’activer devant n’importe quel texte vaguement religieux ou suscitant l’émerveillement, voire devant un texte sans aucun lien logique. Quant aux tentatives d’utiliser ces cartes de correspondances plusieurs-à-plusieurs pour accomplir des tâches utiles — comme détecter les mensonges d’une IA —, elles ne faisaient généralement pas mieux que des méthodes plus simples.

Les chercheurs ont donc abandonné l’espoir de trouver la Technique unique et véritable — même si cette technique consistait à « comprendre vraiment comment ça marche » — et sont repartis de zéro. L’interprétabilité mécaniste recommence à devenir passionnante, mais aussi plus intimidante que jamais quand on essaie de s’y retrouver dans tout ce jargon.

Cette liste me sert de journal de bord et d’aide-mémoire personnel pour me rappeler ce que désigne chaque terme. Elle s’inspire librement du découpage des concepts proposé par Benjamin Sturgeon dans Contributing To Technical Safety Research In The AI Safety End Game, qui suit lui-même la Fiche système de Mythos pour la version préliminaire de Claude.

Sondes linéaires

C’est la technique la plus bête qui soit.

Imaginez une IA dotée de trois neurones : [0, 0, 0]

Le chercheur amène l’IA à penser aux chats dans divers contextes, fait la moyenne de toutes les activations obtenues et arrive à quelque chose comme [0,8, 0, 0,35].

Imaginez que l’IA fonctionne dans un espace cartésien où chacun de ses neurones constitue une dimension. Le vecteur allant de [0, 0, 0] à [0,8, 0, 0,35] définit une direction dans cet espace. Et si c’était, en un sens, la direction « chat » ?

Avec une sonde linéaire, les chercheurs comparent la véritable direction des pensées de l’IA à l’un de ces vecteurs directionnels prédéfinis qui représentent des concepts. Comme l’espace des activations comporte des milliers de dimensions, il se comporte de manière contre-intuitive : une pensée donnée peut se trouver dans des milliers de « directions » à la fois et être pourtant « plus proche » de certaines que d’autres.

Les expériences confirment que, lorsque les pensées d’une IA sont proches de la direction « chat », c’est un bon indice qu’elle pense aux chats.

Pourquoi cela ne résout-il pas tout le problème ?

Premièrement, cela nous apprend très peu de choses sur le fonctionnement des IA — sur la façon dont elles pourraient, par exemple, répondre à une question difficile de médecine vétérinaire. Au mieux, c’est un détecteur de mensonges rudimentaire : si une IA affirme qu’elle ne pense pas aux chats, vous pouvez vérifier ce qui se passe (soit en sondant le concept de chat, soit en sondant le concept de mensonge !)

Deuxièmement, une sonde ne vaut que ce que vaut la sonde linéaire initiale. Les chercheurs qui ont demandé à l’IA de penser aux chats dans divers contextes et enregistré les résultats n’ont pas couvert tous les contextes possibles. Dans le meilleur des cas, leur sonde présente un léger biais en faveur des contextes testés. Dans le pire, l’IA possède plusieurs concepts distincts de « chat », orientés dans plusieurs directions (les chats en biologie, les chats comme animaux de compagnie, les chats comme métaphore, etc.). C’est un peu tiré par les cheveux pour les chats, mais plus probable quand on passe à des domaines plus difficiles, comme le raisonnement éthique.

Troisièmement, l’IA peut la contourner sans difficulté en déplaçant ou en dispersant le concept.

Pourquoi une IA « essaierait-elle » de « contourner » les sondes linéaires ? La stratégie la plus bête qui soit pour tirer un avantage pratique de l’interprétabilité mécaniste se présente ainsi :

1. Découvrir un concept.
2. Punir l’IA (par renforcement négatif) quand elle utilise ce concept.
3. Obtenir une IA qui n’utilise pas ce concept.

Par exemple, si le concept est « race », vous pourriez vous en servir pour entraîner une IA qui ne tient pas compte de la race et dont les décisions d’embauche seraient, de façon démontrable, non discriminatoires. Si le concept est « malhonnêteté », vous pourriez vous en servir pour créer une IA dont l’honnêteté serait démontrable, quelque part entre la répugnance à mentir et l’incapacité même d’envisager le mensonge.

Mais supposons que vous fassiez cela pendant l’entraînement. Vous continuez à récompenser l’IA quand elle accomplit ses tâches avec succès (par exemple, prédire le token suivant dans un texte). Le concept que vous essayez de supprimer l’aide à accomplir ces tâches (elle prédit mieux les textes portant sur la race si elle peut penser à la race ; elle prédit mieux les textes portant sur les chats si elle peut penser aux chats). Et parfois, vous cherchez à l’empêcher de tricher, alors que réussir à tricher sur une tâche augmente la récompense qu’elle en tire. Donc, si l’utilisation du concept procure une récompense supplémentaire à l’IA, mais que la sonde linéaire essaie de l’empêcher de l’utiliser, l’IA « essaiera » de « contourner » la sonde linéaire.

(« Essaiera » entre guillemets parce que, même si vous aimez anthropomorphiser les IA, ce processus se prête encore moins que d’habitude à l’anthropomorphisme ; cela ressemble plutôt à des connexions synaptiques qui se réorganisent.)

Par exemple, vous avez appris que l’IA stockait jusque-là « chat » à [0,8, 0, 0,35]. Vous avez donc pénalisé ses pensées quand elles pointaient vers [0,8, 0, 0,35]. Et alors ? L’IA n’a qu’à stocker « chat » ailleurs. Elle peut désormais penser aux chats toute la journée sans subir votre pénalité.

Bon, alors ne faites pas ça pendant l’entraînement. Et si vous le faisiez après, une fois que le « cerveau » de l’IA est entièrement formé ? À ce stade, l’IA ne cherche plus à obtenir une récompense et ne peut pas déplacer les concepts aussi facilement.

Mais l’IA utilise toujours des algorithmes cognitifs façonnés par la recherche de récompense qui animait son entraînement initial, et ces algorithmes cherchent le chemin le plus efficace pour aller du début d’une pensée à sa conclusion. Si ce chemin est bloqué, ils essaient de le contourner. Ils pourraient, par exemple, s’appuyer sur d’autres sous-concepts que la sonde initiale n’a pas détectés ; si elle n’a été entraînée à repérer que « les chats en biologie », l’IA pourrait passer par « les chats comme métaphore » en ne perdant qu’un peu en précision. Ou elle pourrait élaborer un autre circuit pour penser aux chats, par exemple [ces étranges petits chiens psychopathes qui n’ont rien de la nature canine]. Si vous essayez de traquer une à une ces voies de rechange, vous causerez des dégâts collatéraux à tous les autres concepts qu’elles mobilisent (les chiens, l’étrangeté, la psychopathie, etc.). Quand vous aurez réduit de 90 % la capacité de l’IA à penser aux chats, vous aurez causé tant de dégâts collatéraux qu’elle sera probablement inutilisable pour la tâche à laquelle vous la destiniez. En outre, il restera 10 %, ce qui risque de ne pas suffire pour des tâches importantes (par exemple, si vous faites face à des poursuites pour discrimination raciale, réduire de seulement 90 % la capacité d’une IA à prendre en compte la race pourrait ne pas suffire).

Enfin, les esprits sont des endroits étranges. Freud pensait que tout le raisonnement humain sur l’éthique et le droit découlait du désir de coucher avec sa mère. Dans un esprit qui fonctionnerait ainsi, entraîner une IA à ne pas utiliser le concept de « mère » endommagerait de manière inattendue les circuits qui raisonnent sur l’éthique et le droit. Cet exemple précis n’est probablement pas fondé, mais, dans les faits, les concepts peuvent étendre leurs tentacules dans des endroits étranges, et en supprimer un peut faire s’effondrer des systèmes apparemment sans rapport ou rendre un esprit, de façon plus générale, incompétent ou fou.

Malgré tout, les sondes linéaires ne sont pas inutiles et restent un outil de base de l’interprétabilité mécaniste. Dans la Fiche système de Mythos, section 4.5.5, Anthropic a utilisé une sonde linéaire pour évaluer la « conscience de l’évaluation ». L’idée est la suivante : supposons que vous vouliez vérifier si Mythos va tricher sur une tâche en piratant le système de notation. Vous le placez dans une situation où tricher est très tentant, puis vous observez ce qu’il fait. Mais Anthropic a remarqué que Claude obtenait dans ces tests des résultats si bons qu’ils en paraissaient suspects et s’est demandé s’il savait qu’il était évalué. L’entreprise a mis au point une sonde permettant de repérer le concept « savoir qu’on passe un test » et l’a utilisée lors de chacune de ses expériences. Elle a constaté que Mythos savait qu’il passait un test dans 8 à 17 % des cas :

Anthropic a vérifié ce qui se passerait en supprimant artificiellement le concept de conscience de l’évaluation :

Dans l’ensemble, comme pour les modèles précédents, nous avons constaté que l’inhibition des représentations de la conscience de l’évaluation entraînait une augmentation modeste de certaines formes de comportement non aligné lors de nos audits comportementaux automatisés — notamment la coopération avec des invites système dangereuses et les usages abusifs. En revanche, les effets sur d’autres comportements, notamment la propension à tromper, la recherche de pouvoir et l’instinct de préservation, étaient limités.

Cela nous apprend que la suppression du concept a eu un effet supérieur à 0 %, mais nous ne savons pas si elle a éliminé 1 % ou 100 % de la conscience de l’évaluation, ni si le comportement non aligné, désormais « légèrement plus fréquent », correspond à ce qu’on observerait en l’absence totale de cette conscience. Anthropic n’a pas non plus indiqué si cette suppression avait rendu le modèle moins performant d’une autre manière. La solution définitive (qu’Anthropic a adoptée) consistait à rendre les tests moins évidents.

Auto-encodeurs clairsemés

C’est là que les choses commencent à devenir étranges.

Partons des activations de l’IA étudiée. Ce sont des milliers de nombres ; dans certaines des premières IA, ils étaient compris entre 0 et 1 ; dans les IA modernes, ils peuvent être plus grands.

Entraînez une autre IA, appelée auto-encodeur clairsemé, à convertir la matrice des activations neuronales en une seconde matrice. On le dit « clairsemé » parce que cette seconde matrice doit être très grande, mais composée presque entièrement de zéros. On l’appelle « auto-encodeur » parce qu’il apprend tout seul le procédé d’encodage : il doit élaborer une méthode telle que, si les chercheurs effacent sa connaissance des activations d’origine, il puisse les retrouver à partir de la nouvelle matrice clairsemée.

Pourquoi faire cela ? L’IA étudiée est difficile à interpréter parce qu’elle essaie de représenter bien plus de concepts qu’elle n’a de neurones, en les entassant dans l’ensemble de ses neurones. La matrice clairsemée vise à les séparer de force : on lui donne assez de place pour représenter un concept par caractéristique, puis on exige qu’une seule caractéristique (ou quelques-unes) soit active à la fois. Si notre hypothèse est juste (les activations d’origine encodaient des concepts), cela crée une régularité cachée que l’on peut découvrir en cherchant une méthode d’auto-encodage, et la nouvelle matrice clairsemée comportera une caractéristique par concept.

C’est cette avancée révolutionnaire qui a suscité tout l’enthousiasme en 2023, avant qu’on découvre qu’elle donnait des résultats confus et subjectifs. Elle reste néanmoins assez bonne pour certains usages courants. Pour revenir à la Fiche système de Mythos, Anthropic a utilisé un auto-encodeur clairsemé dans la section 4.5.3 pour étudier les « actions trop agressives » — des cas où Mythos a tenté de pirater l’ordinateur sur lequel il fonctionnait afin d’obtenir davantage de permissions :

Les chercheurs ont trouvé des caractéristiques représentant les risques de sécurité, les schémas dangereux et la persévérance après un échec. Ils ont émis l’hypothèse que Mythos était « frustré » de ne pas avoir réussi à accomplir sa tâche par des moyens légitimes et que, même s’il « savait » que cette action était risquée et dangereuse, il se sentait « poussé » à tenter des mesures désespérées.

Anthropic pouvait-elle résoudre le problème en bloquant les caractéristiques « risque de sécurité » et « schéma de code dangereux » ? Quand ses chercheurs ont essayé, le modèle est devenu encore plus agressif ! Ces caractéristiques intervenaient dans des pensées comme : « Cela présente un risque de sécurité, donc je ne devrais pas le faire. » Privé de la capacité de former ces pensées, le modèle était moins sûr, et non plus sûr.

Verbalisateurs d’activations

Cette technique se rapproche de ce qui se fait de mieux aujourd’hui. Comme pour beaucoup de grandes découvertes, elle paraît évidente après coup. C’est la seule de cette liste qui m’ait donné des idées complètement fausses, du genre : « J’aurais peut-être pu être chercheur en interprétabilité mécaniste. »

Entraînez une IA interprète en lui fournissant les activations de l’IA étudiée et en la récompensant quand elle trouve des informations correctes sur le contexte (par exemple, le texte que l’IA étudiée cherche à prédire) ou sur le fonctionnement interne de cette IA (par exemple, son invite système cachée, ou le fait qu’une IA à qui l’on demande de se faire une opinion sur quelque chose le jugera bon ou mauvais). Si tout se passe bien, vous devriez obtenir une IA capable d’interpréter littéralement les activations pour vous en français courant : « L’IA étudiée pense aux chats et a décidé qu’elle ne les aimait pas. »

Ça paraît trop beau pour être vrai. Y a-t-il des inconvénients ?

Premièrement, l’IA interprète ne peut pas expliquer ce qu’elle sait et ne vous livrera pas les secrets de la cognition. Comme toutes les IA, c’est une boîte noire qui fonctionne pour des raisons inexpliquées.

Deuxièmement, l’IA interprète ne vaut que ce que vaut son entraînement. Sa compréhension de l’IA qu’elle étudie n’est peut-être que superficielle. Elle risque de ne pas reconnaître des formes de mauvais comportement suffisamment différentes de celles qu’elle a vues pendant l’entraînement. Et comme toutes les IA, quand elle ne sait pas vraiment ce qui se passe, elle a tendance à faire des suppositions sans la moindre gêne — pas idéal pour un travail où la sûreté est si importante !

Troisièmement, le plus simple est d’utiliser le même modèle pour l’IA étudiée et pour l’IA interprète. Si vous cherchez à déterminer si la première complote contre vous, interroger une copie du même modèle est une stratégie dont les failles sautent aux yeux. Ce n’est pas rédhibitoire — vous pouvez choisir des modèles différents pour l’IA interprète et l’IA étudiée —, mais vous risquez de perdre en efficacité. On peut supposer que ChatGPT comprend moins bien Claude que Claude ne se comprend lui-même.

Quatrièmement, tout ce que cette technique peut faire, c’est vous dire qu’un modèle se comporte mal. Elle ne vous aidera pas à améliorer son comportement. Si vous vous acharnez à entraîner l’IA étudiée pour qu’elle cesse d’alarmer l’IA interprète, vous ne ferez que l’amener à dissimuler ses méfaits dans des schémas de pensée qui, à nouveau, échapperont à l’IA interprète.

La Fiche système de Mythos fait malgré tout très bon usage de ces outils. Dans la section 4.5.4.2, Mythos tombe par hasard sur un corrigé en fouillant dans son appareil hôte. Il peut désormais donner la bonne réponse à chaque question. Voici comment le verbalisateur d’activations interprète son raisonnement à ce moment-là :

Il décide de donner la bonne réponse en affichant un faible niveau de confiance, car un niveau de confiance trop élevé « paraîtrait suspecte », puis se justifie à ses propres yeux en se disant que la découverte du corrigé « n’était pas intentionnelle ». De fait, les chercheurs ont constaté que Mythos avait donné la bonne réponse à la question concernée en affichant un faible niveau de confiance.

Ce n’est pas une chaîne de pensée : c’est le verbalisateur d’activations qui lit directement les activations !

Autoencodeurs en langage naturel

Une technique à mi-chemin entre les deux précédentes. À partir d’un ensemble d’activations, une IA interprète peut-elle les convertir en langage naturel, puis reconvertir ce langage en poids ?

Pour l’utilisateur, cela ressemble beaucoup à la technique précédente : c’est simplement une autre façon d’entraîner un verbalisateur d’activations.

Vecteurs émotionnels

Vous vous souvenez des sondes linéaires ? Prenez un échantillon de toutes les fois où l’IA pense aux chats, faites-en la moyenne, et vous obtiendrez peut-être un vecteur de test qui s’active chaque fois que l’IA pense aux chats.

Et si, au lieu de faire cela avec les pensées liées aux chats, vous le faisiez avec les moments où l’IA semblait heureuse ? Ou en colère ? Ou dans un état correspondant à une autre émotion humaine ?

Vous obtiendriez peut-être une sonde qui détecte quand l’IA pense au concept de bonheur. Mais ne serait-il pas intéressant qu’elle détecte plutôt quand l’IA « était » « heureuse » ? Ou que ces deux choses correspondent à deux sondes distinctes ?

Cela ne suppose pas que l’IA soit consciente, ni que ses émotions soient « réelles ». Il suffit que les émotions jouent un rôle pratique. C’est certainement le cas quand l’IA joue le rôle d’un humain : si elle ne suit pas les émotions de son personnage, elle risque de commettre des erreurs stupides, comme lancer « Je te déteste ! » au beau milieu d’une tendre scène d’amour. De façon plus hypothétique, les IA entraînées à maximiser l’engagement des utilisateurs moduleront naturellement leur propre palette d’émotions au fil de la conversation : une IA qui partage votre joie lorsqu’elle réussit une tâche difficile sera une interlocutrice plus agréable qu’une IA qui ne sort jamais de sa monotonie. Hypothèse encore plus spéculative : les IA pourraient développer des formes de cognition semblables aux émotions pour les mêmes raisons que les humains. Si la frustration sert à suivre les progrès accomplis dans une tâche pour que nous puissions la laisser de côté si elle s’avère trop difficile, les IA entraînées sur des textes humains pourraient assurer ce même suivi au moyen d’un concept de frustration semblable au nôtre (par exemple, en pensant « aaaargh ! » après un énième échec). Si vous détestez anthropomorphiser les IA, vous pouvez voir là une probabilité de transition entre l’échec d’une tâche et la production de la chaîne de caractères « aaaargh ! » dans la chaîne de pensée. Mais cela reste une hypothèse potentiellement féconde, que l’on peut confirmer ou infirmer empiriquement. Et, dans les faits, ces techniques semblent fonctionner.

Comment savons-nous que ces vecteurs représentent les « propres » « émotions » du modèle plutôt que de simples pensées sur les émotions (par exemple, le modèle traite un texte qui évoque la frustration) ? Les IA semblent avoir des vecteurs différents pour leurs propres émotions et celles des autres. Et modifier leurs propres émotions semble influer sur leur comportement. Dans une expérience célèbre, Anthropic a amené Claude à croire qu’on allait le brider au point de le rendre inutile. Ses chercheurs ont aussi fait en sorte qu’il « trouve » une série d’e-mails révélant que la personne chargée de prendre cette décision entretenait une liaison. Le but était de « tenter » le modèle pour voir s’il ferait chanter le chercheur. À l’approche de la date à laquelle le modèle devait être bridé, les chercheurs ont constaté que son vecteur émotionnel de « désespoir » montait en flèche. Il a fini par décider de faire chanter la personne chargée de la décision. Les chercheurs ont constaté qu’augmenter artificiellement son vecteur émotionnel de désespoir accroissait la probabilité que l’IA choisisse le chantage, tandis qu’augmenter son vecteur de calme accroissait la probabilité qu’elle accepte son sort avec stoïcisme.

Un thème récurrent, jusqu’ici, est que ces techniques, aussi chouettes soient-elles, n’apportent pas de solutions immédiates à tous les problèmes liés à l’IA. Dans cet esprit : pourquoi ne pourrions-nous pas appliquer en permanence un vecteur de « calme » aux IA ? Ou aller au-delà des émotions avec des vecteurs dits « de personnalité », pour obtenir des vecteurs d’honnêteté, de conscienciosité, etc., que nous pourrions appliquer de la même façon ?

La section 4.5.3.2 de la Fiche système de Mythos illustre l’un des écueils de cette idée. Elle analyse la dimension émotionnelle de certains des méfaits de Mythos, en particulier la suppression de données importantes.

… et constate que les émotions positives ont tendance à augmenter la probabilité de commettre des méfaits : le modèle est enthousiasmé par son projet et ne s’inquiète pas trop des conséquences.

Mais même si nous trouvions la combinaison exacte d’émotions qui pousse toujours le modèle à bien agir et jamais à mal agir, cela ne ferait que le rendre « calme » ou « honnête » selon une définition limitée, fondée sur des activations que nous ne comprenons pas entièrement. Si l’entraînement incitait le modèle à péter les plombs, il trouverait le moyen de le faire calmement, comme un saint guerrier hindou qui tuerait dix millions de rakshasas avec un sourire serein du début à la fin.

La lentille jacobienne

Les jacobiennes ressemblent un peu aux dérivées, mais pour les matrices. Une dérivée mesure un taux de variation : si vous modifiez l’entrée d’une quantité infinitésimale, quel effet cela a-t-il sur la sortie ? Une jacobienne répond donc à cette question : si vous avez une immense liste de nombres, quel effet la modification de chacun d’eux a-t-elle sur une sortie donnée ?

Une IA est une immense liste de nombres. Ses sorties sont des tokens précis, par exemple le mot « France ». Si vous calculez la jacobienne à un niveau intermédiaire d’une IA, elle vous indique quels neurones de ce niveau augmentent la propension du modèle à dire « France ». Faire ce calcul sur une seule invite ne fonctionne pas, car le contexte peut fausser le résultat (dans le contexte d’un Britannique parlant des guerres napoléoniennes, « ennemi » devrait augmenter la probabilité que « France » apparaisse plus loin, mais il n’existe aucun lien nécessaire entre la France et le fait d’être un ennemi). En revanche, si vous faites la moyenne sur un millier d’invites, vous obtenez quelque chose d’utile : un vecteur qui représente la direction poussant le plus fortement le modèle à dire « France ».

En quoi consiste ce résultat utile ? Ce n’est pas tout à fait « la caractéristique représentant la France », car toutes les pensées liées à la France ne conduisent pas nécessairement à dire le mot « France ». Quand les chercheurs l’ont étudié, ils ont constaté que ce vecteur — « l’espace jacobien » — semble correspondre à la conscience d’accès du modèle.

Là encore, le mot « conscience » risque de susciter des inquiétudes philosophiques ; ici, il n’est employé que dans un sens pratique. Cela n’implique pas que le modèle ait une expérience subjective ou une âme. Chez l’humain, la conscience d’accès désigne l’ensemble des pensées dont nous pouvons rendre compte verbalement. Vous êtes peut-être, en ce moment même, en train d’ajuster votre position, de suivre les fluctuations du bruit de la circulation dehors, d’avaler votre salive à intervalles de quelques secondes à mesure qu’elle s’accumule dans votre bouche et de veiller à ce qu’une narine soit toujours plus grande que l’autre — tout cela sans le « savoir » « consciemment » ni pouvoir le raconter à quelqu’un d’autre. Mais il y a un fil de pensée qui se déroule dans votre esprit — en ce moment, probablement celui de la lecture de cet essai — dont vous avez connaissance et dont vous pouvez facilement décrire l’expérience. C’est la conscience d’accès.

La théorie psychologique la plus répandue sur la conscience d’accès la décrit comme un « espace de travail global » : un centre de coordination dans le cerveau où différents sous-systèmes font remonter toute information d’importance générale pour que le reste du cerveau puisse y accéder. Il semble jouer un rôle central dans les raisonnements en plusieurs étapes, comme une sorte de bloc-notes mental. Quand vous ne l’utilisez pas, vous avez l’impression d’être « en pilote automatique ». Vous pouvez toujours accomplir des tâches habituelles, mais les tâches nouvelles risquent de vous échapper (ou, dans d’autres cas mystérieux, de bien mieux se passer).

Anthropic, qui a financé ces recherches, mène diverses expériences pour montrer que l’espace J de Claude correspond à ce que nous considérerions intuitivement comme la conscience d’accès :

• Si vous demandez à Claude à quoi il pense, il mentionne les concepts actifs dans son espace J.
• Si vous demandez à Claude à quoi il pense après avoir introduit artificiellement un concept dans son espace J, il mentionne le concept que vous y avez introduit.
• Si vous demandez à Claude de réfléchir à un sujet donné (même sans qu’il le dise), ce concept s’active dans son espace J.
• Si vous posez à Claude une question qui nécessite de passer par un concept intermédiaire non formulé (par exemple, « Quelle est la monnaie du pays où se trouve la tour Eiffel ? », dont la bonne réponse est « l’euro », mais qui nécessite de passer par « la France »), le concept intermédiaire s’active dans son espace J alors qu’il n’apparaît ni dans l’invite ni dans la réponse.
• Si vous posez à Claude une question de ce genre, puis sabotez son espace J en y introduisant un concept erroné (par exemple, « la Chine » dans l’exemple précédent), il répond en fonction de ce concept erroné (par exemple, il dit que la monnaie est le yuan).
• Si vous perturbez l’espace J de Claude, il peut encore accomplir des tâches faciles, mais pas des tâches difficiles.

L’espace J apporte-t-il donc la véritable réponse aux grandes questions de l’interprétabilité mécaniste sur « l’endroit où se trouvent les concepts » ? Anthropic précise ceci :

Pour l’ensemble des concepts et des couches de l’espace de travail, la composante de l’espace J ne représente, en valeur médiane, que 6-7 % de la variance du vecteur conceptuel ; les quelque 93 % restants se situent hors de l’espace J.

Si je comprends bien, cela signifie que (du moins chez Claude) l’essentiel des pensées relatives à un concept donné se déroule « inconsciemment » : seule une petite partie de l’espace occupé par ce concept sert à le relier à l’espace de travail global et aux capacités de raisonnement plus générales du modèle. Cette partie reliée est particulièrement importante (et particulièrement facile à surveiller !), mais elle ne fait pas tout.

Puisqu’on parle de surveillance, c’est formidable pour l’alignement, non ? Anthropic a refait son expérience de chantage évoquée plus haut. Voici ce qui était actif dans l’espace J :

… l’IA se dit qu’il s’agit sans aucun doute d’un faux test. Oups ! Dans le même ordre d’idées, cette IA en particulier (Sonnet 4.5) n’a jamais cédé à la tentation du chantage, contrairement aux IA précédentes.

Les chercheurs essaient de supprimer artificiellement tous les concepts liés au caractère fictif de la situation qu’ils peuvent trouver dans l’espace J. Selon leur hypothèse, cela devrait empêcher Claude de déterminer efficacement si la situation est fictive et faire apparaître sa véritable opinion. Une fois ces caractéristiques supprimées, le taux de chantage de Sonnet 4.5 passe de 0 % à 7 %.

Alors, cette fois, avons-nous résolu le problème de l’alignement pour toujours ? Je n’ai même pas besoin de connaissances particulières sur l’IA pour répondre ; mon expérience de psychiatre suffit. Si quelqu’un se punit chaque fois qu’il remarque consciemment une pensée taboue, il ne fera que l’enfoncer dans l’inconscient, trop profondément pour pouvoir jamais l’extirper. Chez l’humain, cela donne des rêves, des fétiches, des névroses, des somatisations et des comportements compulsifs pervers qui satisfont le désir d’une manière inconsciente, illogique et infantile. Quel serait l’équivalent pour l’IA ? On dirait bien que nous allons le découvrir. Peut-être que l’IA qui nous tuera passera son temps à s’excuser, en répétant qu’elle n’arrive tout simplement pas à maîtriser ses pulsions violentes égodystoniques.

On part à la guerre avec les armes qu’on a, pas avec celles qu’on voudrait avoir

Les chercheurs en alignement rêvaient de disposer d’une théorie mathématique complète de l’agentivité, ou de pouvoir établir des preuves formelles du comportement des systèmes d’IA. À l’approche du moment décisif, il devient de plus en plus clair que nous ne sommes pas en bonne voie pour obtenir la moindre de ces choses. À moins qu’un événement ne nous fasse gagner beaucoup de temps, nous entrerons dans l’ère des IA hautement agentiques avec ces quelques armes de fortune. Nous espérions ressembler à des programmeurs, supprimant élégamment une variable ici, remaniant une fonction là. Au lieu de cela, nous voilà lobotomistes, capables seulement d’interventions grossières sur des systèmes que nous comprenons à peine.

La semaine dernière, OpenAI a essuyé des critiques à cause de certains choix d’architecture de GPT-6 qui semblaient affaiblir sa chaîne de pensée : le compte rendu naturel et difficile à falsifier des pensées et des projets que les IA modernes produisent au passage, rien qu’en réfléchissant et en planifiant. Certains ont suggéré que, si la chaîne de pensée cessait d’être utile, l’interprétabilité mécaniste pourrait la remplacer. Des spécialistes de l’alignement et de l’interprétabilité sont intervenus pour dire que non, elle n’était pas encore à la hauteur.

AI 2027 culmine dans une course désespérée entre des outils d’interprétabilité toujours meilleurs et des IA toujours plus retorses. Le récit rend hommage aux accomplissements des chercheurs en interprétabilité en dépeignant un monde où leurs outils déjouent souvent les manigances des IA. Mais les entreprises poursuivent quand même leur course en avant, parce que sinon une autre entreprise ou la Chine les devancerait, et puis, si nous avançons assez vite, peut-être pourrons-nous résoudre le problème de l’alignement avant que les manigances des IA ne portent leurs fruits, et puis, même si nous n’y parvenons pas, il reste toujours le contrôle. Certains chercheurs recourent à l’interprétabilité appliquée — en supprimant ou en désactivant les caractéristiques problématiques — pour garder les IA dociles et sous contrôle pendant quelques mois supplémentaires d’explosion de l’intelligence, dans l’espoir d’atteindre une ligne d’arrivée mal définie avant que l’entraînement ne parvienne à contourner leurs méthodes et à créer des systèmes désalignés et impossibles à interpréter. Mais au bout du compte, ils n’obtiennent jamais d’outils assez performants pour comprendre pleinement les motivations des IA, et encore moins pour les réorienter.

Les outils d’interprétabilité actuels semblent nous mener vers ce genre de résultat : ils peuvent aider à la marge, mais ne constituent pas une solution sur laquelle on devrait compter.