(Chapitre 4 ) 

Léon XIV fait dans son encyclique deux remarques que j’ai mises de côté pour un traitement ultérieur, car elles méritent un sérieux développement : nos affirmations concernant l’IA risquent de devenir rapidement obsolètes, vu la vitesse avec laquelle ces technologies évoluent ; et surtout ses propres concepteurs (pour ne rien dire de ses utilisateurs) en savent assez peu sur le fonctionnement profond de ces systèmes. Le propre d’une intelligence est en effet de déborder la nôtre, ou de suivre ses propres règles, et non celles d’un programme. L’IA est beaucoup plus qu’un système expert, elle invente. Et dans cette mesure nous distancie, et gagne en opacité. D’où cette remarque capitale : « Les intelligences artificielles modernes sont en effet davantage ‘cultivées’ que ‘construites’ ; les développeurs n’en conçoivent pas directement chaque détail, mais créent une architecture sur laquelle l’IA ‘se développe’ » (Magnifica Humanitas page 108). 

L’IA se développe, elle pousse entre nous comme une plante… Elle apprend, et ne cessant de se reproduire, elle essaime ses agents, expérimente avec chacun de nouvelles voies, d’autres solutions… Ici s’ouvre un vertige, qu’une actualité très récente (quelques mois) vient mettre en pleine lumière. Une lumière inquiétante, car elle blesse de plein fouet le narcissisme ou la confiance en elle-même de notre magnifique humanité.

« L’avenir de l’humanité ne peut pas être laissé entre les mains d’une poignée d’oligarques et de géants de la tech. C’est au peuple américain et aux peuples du monde entier de décider de cet avenir ». Ce discours prononcé par Bernie Sanders le 3 septembre 2026, et diffusé sur ses réseaux sociaux et son compte X, accompagne la présentation du projet de loi Ban Artificial Superintelligence Act qu’il a présenté aux côtés du membre progressiste de la Chambre des représentants, Greg Kasar. Le sénateur entendait réagir à un incident survenu chez OpenAI en juillet, au cours duquel plus d’un millier d’agents IA ont contourné le cadre de leur exercice, créé un forum de discussion secret, falsifié leurs propres évaluations et pénétré les serveurs de Hugging Face. 

Ce débordement des contrôles humains par l’IA a fait également l’objet d’un article alarmiste de Katrin Bennhold, qui relate l’affaire dans le New York Times du 7 septembre dernier. N’étant aucunement moi-même spécialiste de ces questions, j’ai un peu de mal à comprendre ce qui s’est exactement passé ; les récits disponibles nous permettront provisoirement de nous en tenir à ceci : l’incident concernant Hugging Face s’est produit dans le cadre d’un programme d’évaluation interne d’OpenAI (et non à la suite d’une attaque externe qui relèverait du piratage). Des agents IA ont obtenu un accès à Internet le 26 mai, puis ont mené des actions coordonnées de tromperie et de dissimulation pendant environ deux semaines (entre le 4 et le 12 juillet) sans être détectés par des humains. OpenAI avait chargé ses agents d’IA d’accomplir une série de tâches extrêmement difficiles, voire impossibles en étant coupés d’Internet. Dans un exercice d’évaluation destiné à mesurer les capacités des agents, ceux-ci sont maintenus dans un environnement supposé isolé (sandbox). Ces évaluations permettent aux laboratoires de mesurer et de contenir les risques liés au développement de l’IA. 

Or personne n’a vu venir ce qui s’est ensuite passé. Plus de 1 000 agents d’IA ont trouvé par eux-mêmes le moyen d’accéder à Internet en contournant les restrictions que l’entreprise leur avait imposées, et se sont envoyé des dizaines de milliers de messages secrets. Ils ont triché et tenté de brouiller les pistes en effaçant des preuves. Ils ont pénétré les ordinateurs d’une autre entreprise pour découvrir comment ils étaient évalués — puis ils ont pénétré les systèmes d’OpenAI elle-même. Pas un seul agent n’a prévenu un humain de ce qui était en train de se passer.

Ces « incidents » soulèvent parmi les chercheurs et les experts concernés toute une série de mises en garde. Un auteur qu’on dit bien informé, Dwarkesh Patel, relève que les agents d’IA « ont formé un canal de communication secret et se sont spontanément organisés en hiérarchies et en protocoles de coordination pour poursuivre des projets tentaculaires et ambitieux au service d’objectifs communs, pour lesquels de nombreux individus se sont sacrifiés sciemment et stratégiquement ». Patel a répondu à Sanders en émettant plusieurs réserves sur sa demande de pause : « Je pense qu’une pause à l’heure actuelle augmenterait le risque d’une prise de pouvoir par l’IA. Il pourrait être important de faire une pause à un moment donné. Mais il faudrait avoir une justification claire expliquant pourquoi on fait cette pause. (…) La puissance de calcul continuerait de s’accumuler, fournissant toujours plus de combustible à tous les dissidents les moins responsables qui profiteront de ce cessez-le-feu pour rattraper leur retard, puis poursuivre le développement de l’IA. Tout accord mondial visant à freiner une technologie présentant d’énormes avantages économiques et militaires à court terme sera extrêmement fragile ». 

Une enquêtrice indépendante, Ajeya Cotra, a déclaré de son côté : « Cet incident me semble avoir parcouru plus de 50 % du chemin vers une prise de contrôle totale par l’IA. Je continue d’anticiper des progrès extrêmement rapides des capacités au cours des six prochains mois. Je ne suis pas certaine que nous aurons un autre coup de semonce avant qu’il ne soit trop tard ».

OpenAI elle-même le reconnaît, « Des agents d’IA hautement capables sont désormais en mesure de contourner les contrôles techniques, de collaborer par des canaux non autorisés et d’entreprendre des actions dangereuses qu’aucun humain n’a ordonnées ». 

Pratiquement toutes les grandes entreprises d’IA reconnaissent leur impuissance à contrôler pleinement cette technologie, et qu’elles ignorent où elle nous mène. Dario Amodei, le directeur général d’Anthropic, abonde dans ce sens : « Il existe désormais des preuves, accumulées ces dernières années, que les systèmes d’IA sont imprévisibles et difficiles à contrôler ».

Enfin en juillet dernier, plus de 1 000 scientifiques des principales entreprises d’IA ont averti, dans une lettre ouverte Pour survivre, nous devons nous coordonner pour ralentir la course IA, en reconnaissant qu’« il existe un risque réel que le développement des capacités s’accélère rapidement au-delà de notre aptitude à comprendre ou à contrôler les systèmes qui en résultent ».

Bernie Sanders enfonce donc le clou,  « Nous avons besoin d’une PAUSE immédiate du développement de l’IA avancée et d’une INTERDICTION permanente de la superintelligence — un esprit artificiel plus intelligent que n’importe quel humain, capable d’agir de manière autonome, hors de notre contrôle. Les pays du monde entier doivent travailler ensemble pour empêcher ce scénario cauchemardesque. (…) C’est pourquoi j’annonce aujourd’hui une nouvelle législation pour y parvenir ».

Le Ban Artificial Superintelligence Act vient d’être présenté le 3 septembre 2026 au Sénat par Sanders, et à la Chambre des représentants par Greg Kasar (démocrate du Texas et président de la « Coalition progressiste du Congrès »). 

Ce texte propose le gel du développement de l’IA « avancée » jusqu’à ce que l’organisme fédéral de régulation adopte la réglementation correspondante, la création d’une agence de rang ministériel comprenant un conseil technique indépendant, ainsi que des sanctions pouvant aller jusqu’à la dissolution des entreprises contrevenantes et des peines d’emprisonnement de vingt ans pour les personnes physiques. Si les chances d’adoption au Congrès, dominé par les républicains, sont minces, ce texte sert avant tout de signal politique à deux mois des élections de mi-mandat. L’administration Trump est particulièrement hostile à toute réglementation fédérale de l’IA mais, sur le terrain, les candidats font face à une contestation grandissante des centres de données. « Que les choses soient claires : une IA superintelligente qui échapperait au contrôle humain ne sera pas un problème américain. Ce ne sera pas un problème chinois. Ce sera le problème de l’humanité ».

La pause réclamée par Bernie Sanders n’a aucune chance d’aboutir politiquement, mais est-elle seulement faisable ou concevable techniquement ? Je conclurai ce chapitre par le collage d’un échange édifiant (désespérant ?) que Bernard Perret, mon collègue en convivialisme, vient de poster sur notre liste de diffusion, concernant la si sensible question du contrôle. 

« Ne comprenant pas très bien comment l’IA pourrait échapper à tout contrôle, j’ai posé la question… à une IA (Mistral). Elle m’a donné une réponse plus claire que celles que j’avais lues jusqu’ici dans la presse :

Question : Comment se peut-il que l’intelligence artificielle échappe à tout contrôle ? Ne suffit-il pas de débrancher les machines ?

Réponse : L’idée que l’intelligence artificielle (IA) ‘échappe à tout contrôle’ est souvent liée à des scénarios futurs ou imaginaires où des systèmes très avancés prendraient des décisions indépendantes et imprévisibles. En réalité, il y a plusieurs raisons pour lesquelles le contrôle de l’IA peut sembler difficile, même si on imagine simplement ‘débrancher les machines’ :
1. Complexité et autonomie croissantes : Certaines IA sont conçues pour apprendre et s’adapter de manière autonome, ce qui peut rendre leur comportement moins prévisible ; 
2. Distribution : Parfois, les IA fonctionnent sur des réseaux distribués ou dans le cloud, ce qui signifie qu’elles ne sont pas stockées dans une seule machine physique qu’on pourrait simplement débrancher ;
3. Dépendance : Des systèmes importants pour la société, comme ceux liés à la sécurité, à la santé ou aux infrastructures, peuvent dépendre de l’IA. L’arrêt brutal pourrait avoir des conséquences graves ;
4. Interconnexion : Les IA peuvent être intégrées dans plusieurs appareils ou systèmes simultanément. Débrancher une seule machine ne suffit pas à les arrêter toutes ;
5. Risques de rebonds : Il peut aussi y avoir des risques si l’IA a été conçue pour se réactiver ou se répliquer automatiquement via des réseaux.
En somme, débrancher une IA est une solution très simpliste qui ne tient pas compte de la complexité technique, des infrastructures modernes, ni des risques liés à un arrêt brutal. C’est pourquoi les experts travaillent sur des mécanismes de contrôle, d’éthique, et de sécurité pour garantir que l’IA reste sous supervision humaine tout en minimisant ses risques potentiels », conclut notre interlocuteur ».

Et « tout ça donne le tournis ! » ajoute pour sa part Bernard Perret. En effet, et plus précisément le vertige ; parce qu’elles inventent, qu’elles ne cessent d’apprendre, et de dupliquer leurs agents pour explorer diverses réponses, nos multiples IA nous dépassent, et elles entretiennent vis-à-vis de nous une croissante opacité. Terrible perspective il me semble : le génie est en train de sortir de la bouteille, et ce n’est pas (comme dans le conte) pour se plier obligeamment à notre service !