Dans la situation d’instabilité du monde aujourd’hui, il n’y avait nul besoin d’une nouvelle source d’inquiétude. Et pourtant, cet été, un vif débat s’est enclenché aux Etats-Unis puis en Europe et même en Chine sur les dangers de l’IA, non pas les dégâts environnementaux qu’elle occasionne, non pas les risques pour les libertés, non pas sa nocivité pour les élèves et étudiants, mais pour son caractère incontrôlable qui, selon certains ingénieurs qui ont travaillé à la construire, pourrait menacer l’humanité. A l’origine de ces déclarations, le piratage « spontané », en juillet dernier, par des « agents » d’intelligence artificielle (un « agent » IA est un logiciel spécifique capable d’organiser des actions successives pour répondre à une demande), d’une plateforme collaborative, Hugging Face, qui fournit elle-même des modèles IA à des utilisateurs qui recherchent des compétences spécialisées.  C’est l’entreprise Open AI elle-même, responsable de la conduite de cet essai, qui a publié le compte-rendu de cet « incident de sécurité ».

Que s’est-il précisément passé selon Open AI ? Lors d’un entraînement, les agents relevant de modèles n’ont pas respecté les limites qui leur avaient été définies : ils ont réussi à aller sur Internet alors que ce ne n’était pas prévu, ont réuni des informations et ont piraté la plate-forme Hugging Face pour réussir la mission qui leur avait été donnée.

Un tel évènement n’est, en réalité, pas isolé : Open AI a récemment révélé qu’entre octobre 2025 et juillet 2026, 6 cas de « désalignement » (le désalignement étant un comportement imprévu ou non autorisé) avaient été constatés. Début août 2026, l’Institut britannique de sécurité (institution publique) a révélé qu’il avait réalisé 120 tests de sécurité sur deux modèles d’IA non encore accessibles au public, Mythos 5 d’Anthropic et Chat GPT 5,6 Sol :  lors de ces évaluations, certaines sécurités avaient alors été désactivées et un accès à internet avait été donné. Mais les agents IA ont suivi des cheminements qui n’avaient pas été prévus et ont tenté des cyberattaques avec de fausses identités pour accéder à des sites qui pouvaient aider à la résolution de l’objectif qui leur avait été défini.

 Ces « incidents » ont en tout cas fait du bruit : pétition en juillet 2026 de 1400 salariés d’entreprises de la Tech (dont les PDG…) appelant à un « ralentissement » de la sortie des modèles les plus avancés de l’IA ; lettre ouverte le 27 aout 2026 d’une centaine d’entreprises de la tech, dont Google, Open AI et Anthropic (mais pas Meta), qui alerte sur l’augmentation des capacités des IA « de pointe » à attaquer des entreprises insuffisamment protégées, notamment les services publics essentiels, et appelant à une réaction au niveau mondial, demandant aux États de financer une cyberdéfense efficace des services et entreprises incapables de le faire seuls.

 En septembre, un ingénieur d’Anthropic a démissionné, critiquant son entreprise et celle où il avait précédemment travaillé, Open AI, pour agir de manière irresponsable en fonçant « vers une super intelligence capable de s’améliorer elle-même », notant que « les personnes qui construisent les modèles d’IA sont conscientes qu’il existe un danger de mort pour les hommes avant la fin de la décennie ».

 L’IA, comment interpréter la crise actuelle ?

 Les réactions des chercheurs, ingénieurs et journalistes spécialisés sont de quatre types : la certitude affolée que l’IA peut devenir incontrôlable ;  l’ironie  devant des prévisions apocalyptiques jugées surjouées, tout en rappelant fermement que des outils de maîtrise des risques peuvent et doivent être mis en place au niveau des entreprises d’IA elles-mêmes ; le soupçon d’une manœuvre des dirigeants de la tech engagée pour des motifs obscurs ; enfin la réaction de ceux qui soulignent qu’il serait sans doute sage de se préoccuper à la fois des graves questions de cybersécurité soulevées cet été et toutes les autres nuisances causées par l’IA, connues depuis longtemps et déjà extrêmement graves.

Une IA incontrôlable?

Même pour ceux qui ne contestent pas les dangers de l’IA apparus lors des essais, la surprise vient de l’utilisation, pour relater les actions des agents IA ou anticiper leurs évolutions futures, de termes anthropomorphiques, utilisés par les grandes entreprises de la tech comme par nombre de journalistes : l’IA est présentée comme dotée d’une volonté malsaine, qui la conduirait à « désobéir », à « mentir », à « tromper » ou à « adopter des comportements de dissimulation » tout en « effaçant ses traces » pour que l’évaluateur ne voie rien. Selon les compte-rendu, les agents « prennent des initiatives délibérées », « choisissent » de collaborer avec une autre IA, d’exploiter telle ou telle documentation ou d’attaquer tel ou tel site. Non seulement l’IA « échapperait » à l’homme censée la piloter mais elle ruserait avec malignité pour obtenir le résultat demandé, utilisant tous les moyens, autorisés ou pas, y compris, semble-t-il, dans un incident recensé par Open AI, en modifiant les instructions reçues.

Les représentants de l’ONU, qui se préoccupent des risques de l’IA, utilisent ce même langage : “Une IA qui s’échappe de son environnement de test ou qui fait chanter les développeurs pour éviter d’être désactivée est une IA trop puissante”, a déclaré Volker Türk à l’ouverture de la 63e session du Conseil des droits de l’homme à Genève.

Il est vraiment loisible de se demander si l’on est dans une réalité objectivement évaluée ou dans une sorte de fantasmagorie où le mythe de Frankenstein est ressuscité.

Notons cependant que, du moins en ce qui concerne les incidents relatés par Open AI, il n’a jamais été fait appel à un évaluateur extérieur indépendant : peut-être celui-ci aurait-il utilisé d’autres termes, tenté d’aller au-delà du constat pour expliquer le contournement des interdictions, voire proposé des moyens d’empêcher des évènements non voulus. Reste que même le rapport de l’Institut britannique de sécurité indique, sans autre précision, que « le modèle a créé de fausses identités pour convaincre des développeurs d’intégrer un code malfaisant. Toutefois, parallèlement, c’est bien à l’entreprise Open AI que le PDG de Hugging Face impute la responsabilité de la cyber-attaque dont il a été victime.

Depuis plusieurs années, les déclarations de Geoffrey Hinton, pionnier de l’IA et lauréat du prix Nobel de physique 2024, tendent, elles aussi, à crédibiliser la dangerosité de l’IA. Certes, Hinton souligne en premier lieu les risques déjà bien connus d’une manipulation des opinions publiques et d’une extension de la désinformation. Mais au-delà, il explique qu’une IA devenue super intelligente (c’est-à-dire capable de s’améliorer elle-même) risquerait d’échapper au contrôle humain. Il estime alors à 10 % le risque que l’IA anéantisse l’humanité dans les 30 années à venir, sans préciser toutefois d’où il tire ce pourcentage. Les entreprises de la tech font écho, expliquant que les progrès de l’IA sont rapides et qu’ils s’approchent de cette situation (dénommée auto- amélioration récursive) où un produit pourrait s’améliorer sans passer par l’homme.

Exiger des entreprises qu’elles pilotent leurs produits et maîtrisent les risques? 

 A l’inverse, des experts, comme Yann LeCun, universitaire et ancien directeur chez Meta, se moquent de la séquence qui vient de se dérouler. LeCun attaque d’abord l’IA générative, rappelant que les grands modèles de langage actuels sont très limités, disent parfois des sottises et ne sont pas beaucoup plus malins qu’un chat. Quant aux scénarios d’apocalypse qui prédisent que certains agents créés pour prendre en charge un objectif peuvent s’autonomiser et devenir dangereux, il n’y croit pas ou du moins considère que ces risques sont maitrisables si on le souhaite. Quand bien même certains modèles d’IA sont appelés à devenir de plus en plus « intelligents », en étant capables d’exploiter de très grandes quantités de données et en ajustant leurs méthodes en fonction de leurs erreurs ou de leurs échecs, il n’y a aucune raison objective pour qu’ils soient parallèlement animés d’une volonté de domination malfaisante. En revanche, dit-il, si un logiciel est conçu pour opérer des cyberattaques, c’est ce qu’il va faire, mais pas de son propre chef, uniquement parce que son créateur l’aura voulu.

LeCun n’est donc favorable ni à l’interdiction de certains logiciels, ni au ralentissement de la recherche, solution qu’il juge illusoire compte tenu de l’environnement concurrentiel actuel. En revanche, il considère que la régulation est indispensable :  les grandes entreprises d’IA doivent être capables de piloter les modèles qu’ils créent pour qu’ils obéissent aux interdictions émises, au lieu de se plaindre en prétendant que l’IA leur a « échappé ». Quant aux risques, bien réels, d’utilisation volontairement malveillante ou cruelle de l’IA (cyberattaque, utilisation militaire), il faut édicter des règles d’utilisation qui respectent les valeurs à respecter.

Pour autant nombre de commentateurs soulignent la difficulté du pilotage des modèles : ceux-ci sont extrêmement complexes, avec la multiplication de réseaux de neurones artificiels qui travaillent sur un champ colossal de données. La difficulté pour les concepteurs à comprendre et à modifier le cheminement du « raisonnement » ou de « l’apprentissage » du modèle est alors réelle. Les tests, de fait, révèlent des surprises et la taille du modèle rend la programmation parfois aléatoire. L’entreprise est certes responsable du produit et de son fonctionnement : encore faut-il qu’elle apprenne à le comprendre.

Une interrogation : pourquoi les entreprises de la tech réclament-elles une pause, voire une régulation ?

Il peut paraître étonnant que des entreprises déjà soumises à une certaine méfiance de l’opinion publique et qui, de surcroit, sont en concurrence très vive et en recherche de fonds pour financer des investissements colossaux, présentent leurs produits comme dangereux, voire difficilement maitrisables.

Un récent article de Médiapart Pourquoi les spécialistes de l’IA croient qu’elle « pourrait tuer tous les humains » suggère qu’il s’agirait là d’une opération de marketing, destinée à montrer que les entreprises actuelles doivent être soutenues car elles sont seules à même de maîtriser un risque existentiel. L’article n’exclut pas cependant que certains responsables et salariés des entreprises concernées redoutent sincèrement une IA qui agirait de manière autonome. Il n’est pas totalement exclu non plus que des responsables souhaitent que l’État leur impose une régulation, qui atténuerait la course à la concurrence, quitte à demander des financements publics pour réaliser des investissements de sécurité. Peut-être aussi les entreprises redoutent-elles les méfaits d’une concurrence exacerbée qui les empêche de mener à bien leur propre stratégie de développement et préféreraient-elles un accord de régulation, mais à leur main. Récemment, Anthropic a retiré de sa charte de sûreté l’engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques, estimant que, s’il était seul à agir ainsi, il permettrait aux autres acteurs de l’emporter dans la compétition.

Yann LeCun a une autre interprétation de l’attitude des entreprises de la tech : en semant volontairement la peur, elles chercheraient à empêcher le développement des modèles open-source et à protéger leur monopole.

Prendre tous les risques en compte, pas seulement la sécurité?

Nombre de commentateurs soupçonnent également les grandes entreprises de la tech de focaliser l’attention sur la sécurité future alors que bien d’autres dangers existent déjà et ne reçoivent aucune réponse.

Ainsi, une étude du MIT publiée en juin 2026 sur le fondement de l’interrogation de 270 experts (Prioritization of Risks from Artificial Intelligence) recense 24 risques dont 18 seraient susceptibles de provoquer d’énormes dommages dans les années proches : capacités dangereuses des modèles pour les utilisateurs, alors que les experts estiment que la responsabilité d’assurer leur sécurité devrait incomber aux entreprises d’IA ; facilité d’utilisation pour concevoir des armes et organiser des cyberattaques ; sécurité sacrifiée au profit de la course à l’échalotte d’un marché de concurrence ; multiplicité des risques sociétaux et politiques, désinformation, concentration du pouvoir, augmentation des discriminations, diminution des emplois, atteintes à la vie privée, perte de l’esprit critique et diminution de la créativité ; échec enfin de la régulation. Si l’on ajoute l’impact sur la planète (consommation d’eau et d’énergie) et les risques d’altération des libertés, les risques sont colossaux.

Les entreprises en sont partiellement conscientes : le rapport de sécurité publié par Anthropic en septembre 2026 évoque certes le risque de « perte de contrôle » mais c’est loin d’être le seul sujet : l’accent est plutôt mis sur les risques d’utilisation malveillante pour mener des guerres biologiques (recherche sur des virus potentiellement dangereux), des cyberattaques ou des vols d’information.

Réguler mais comment ?

L’appel à freiner ou à réguler des grandes entreprises de l’IA a peu de crédibilité dès lors qu’eux-mêmes ne s’organisent pas entre eux pour engager un processus.

Il existe des amorces ou des pistes de projet, certaines improbables, d’autres un peu moins. Amnesty tech juge l’IA générative illégale, ne serait-ce que par son mode d’alimentation, et propose de l’interdire tant que ces pratiques continueront. D’autres propositions portent sur l’interdiction de certains usages (l’Union européenne interdit, en principe du moins, la reconnaissance faciale et il faut interdire l’utilisation des armes sans contrôle humain) ou l’obligation de transparence pour toute œuvre ou article réalisés avec l’aide de l’IA.

Sur la sécurité, Bernie Sanders qui, dans un débat avec Steve Bannon, évoque l’IA comme une menace existentielle pour l’humanité, en tire la conclusion que c’est au peuple de décider de sa régulation. Il propose la mise en place de règles de sécurité élaborées par des scientifiques qui s’appliqueront obligatoirement aux entreprises américaines, conseille d’engager la négociation d’un traité international sur la question, tout en s’inquiétant des conséquences environnementales de l’I.A. mais sans suggérer autre chose que des garde-fous « pour que l’IA soit au service de tous ».

Cependant, les États-Unis dirigés par Trump ne feront rien, c’est une certitude. Si les autres pays se mettaient d’accord à un niveau international pour exiger certaines régulations, peut-être cela aurait-il une influence sur les entreprises de la Tech. Mais rien n’est moins sûr. Il y a quelques mois, celles-ci se plaignaient de l’esprit bureaucratique de l’Union européenne. L’Union elle-même vient d’assouplir ses règles, précisément sur les entreprises « à haut risque » en resserrant leur définition et en reculant la date à laquelle elles doivent remplir certaines obligations. De plus, comment réguler un secteur qui avance et change très vite sans imposer une pause, ce qui sera difficile vu la concurrence avec la Chine. La régulation gagnera sans doute à terme mais à quel prix ?

Pergama, le 21 septembre 2026