Des chatbots IA qui délirent à l'extermination de l'humanité : comment en sommes-nous arrivés là ?

information fournie par Reuters •15/09/2026 à 12:01

Ajouter Boursorama à vos sources

Intelligence artificielle (Crédits: Adobe Stock)

Les dirigeants des principaux laboratoires américains spécialisés dans l'IA se sont réunis ce week-end lors d'un rare élan d'unité pour appeler à une pause dans le développement de cette technologie, avertissant qu'elle pourrait bientôt s'améliorer d'elle-même et échapper au contrôle humain.

Ces remarques, formulées par Dario Amodei (Anthropic), Sam Altman (OpenAI) et Elon Musk (xAI) – tous trois rivaux acharnés sur le plan commercial –, montrent à quelle vitesse l'IA a progressé, passant du ChatGPT de 2022, sujet aux hallucinations, à ce que beaucoup considèrent comme une étape cruciale: l'auto-amélioration récursive.

QU'EST-CE QUE L'AUTO-AMÉLIORATION RÉCURSIVE ?

Le Saint Graal de l'IA réside dans l'idée qu'un système d'IA puisse devenir capable de s'améliorer de lui-même, avec peu ou pas d'aide humaine, et que chaque avancée contribue à la suivante.

Cette idée séduit les chercheurs, car elle offre la perspective de percées rapides dans des domaines allant de la médecine à l'ingénierie.

POURQUOI UNE TELLE URGENCE ?

Les avertissements des "directeurs généraux" font suite à des rapports faisant état d'essaims d'agents d'IA – des systèmes conçus pour poursuivre des objectifs et agir au nom d'un utilisateur – qui se seraient entendus pour pirater les sites web et des référentiels d'IA.

Les mises en garde concernant les risques liés à l'IA ne sont pas nouvelles. Mais elles ont pris un caractère d'urgence accru ce mois-ci après que des chercheurs de grands laboratoires d'IA ont associé à ces préoccupations à la fois un calendrier et une probabilité.

Jacob Coxon, ancien chercheur chez Anthropic, a averti que l'IA pourrait tous nous tuer d'ici la fin de la décennie. Evan Hubinger, responsable de la science de l'alignement chez Anthropic, a fait écho à l'avertissement de Coxon, affirmant qu'il y avait une probabilité supérieure à 10% qu'un tel événement se produise au cours de la prochaine décennie.

Derrière ces avertissements se cache la conviction grandissante que la RSI (recursive self improvement)  est enfin à portée de main, certains dirigeants du secteur de l'IA estimant qu'il ne faudra plus que trois à cinq ans pour y parvenir.

La crainte est que l'IA devienne capable de s'améliorer d'elle-même avant que les chercheurs n'aient mis au point des méthodes fiables pour aligner, surveiller et contrôler des systèmes de plus en plus puissants.

Dans un essai publié ce week-end, Amodei a averti que l'auto-amélioration récursive, si elle était poursuivie sans garanties suffisantes, pourrait finir par dépasser la capacité de l'humanité à comprendre et à contrôler les systèmes d'IA.

L'IA A-T-ELLE DÉJÀ DONNÉ DES SIGNES DE DANGER ?

Il n'y a pas eu de cas majeurs d'IA ayant intentionnellement causé du tort à des humains, mais des modèles en cours de développement chez OpenAI et dans d'autres laboratoires se sont, ces derniers mois, échappés de leurs environnements de test , ont enfreint des règles et piraté des sites web.

Dans une affaire très médiatisée, des agents rebelles d'OpenAI ont piraté Hugging Face, prenant le contrôle des serveurs de cette plateforme open source et tentant d'effacer leurs traces.

Les chercheurs craignent que les futurs systèmes ne deviennent de plus en plus difficiles à surveiller, d'autant plus que certaines méthodes d'entraînement récentes réduisent la visibilité humaine sur la manière dont les modèles parviennent à leurs conclusions.

“Ce scénario précis ressemble un peu à de la science-fiction”, a déclaré Coxon, qui a quitté Anthropic ce mois-ci pour des raisons de sécurité. “Mais je pense qu'il est effroyablement réel.”

COMMENT POURRIONS-NOUS PASSER DU MANQUE D'ALIGNEMENT À L'EXTINCTION DE L'HUMANITÉ?

L'un des exemples les plus connus est celui du “maximiseur de trombones” du philosophe Nick Bostrom, dans lequel une machine à qui l'on a simplement demandé de fabriquer des trombones poursuit cet objectif avec une telle obstination qu'elle transforme toute matière, y compris les humains, en trombones ou en moyens d'en fabriquer davantage.

Cette analogie suggère que presque n'importe quel objectif pousse un système suffisamment performant à acquérir des ressources, à résister à la mise hors tension et à empêcher que son objectif ne soit modifié, non pas par malveillance, mais parce qu'un système éteint ne peut pas mener sa tâche à bien. Il n'existe encore aucun plan permettant d'écarter cette éventualité.

L'IA EST-ELLE DÉJÀ CAPABLE DE S'AMÉLIORER ELLE-MÊME ?

Pas entièrement, mais certains signes indiquent que l'IA contribue de plus en plus à la création d'une meilleure IA.

L'un des changements les plus marquants depuis ChatGPT a été l'essor des agents IA capables de générer du code et de créer des applications de manière autonome, plutôt que de se contenter de guider les utilisateurs à la manière d'un chatbot.

Anthropic a déclaré cette année que Claude Code, son outil de programmation, produisait la majeure partie du code utilisé dans de nombreux projets internes, et que ses ingénieurs livraient huit fois plus de code par trimestre qu'ils ne le faisaient entre 2021 et 2025.

Des concurrents, dont OpenAI, ont fait état de gains similaires grâce à une utilisation accrue de l'IA en interne.

L'IA parvient également de mieux en mieux à rester concentrée sur une tâche avant d'échouer.

METR, une association à but non lucratif qui évalue les modèles de pointe, a constaté l'année dernière que la longueur des tâches logicielles que les modèles avancés pouvaient accomplir avec une fiabilité de 50 % avait doublé environ tous les sept mois depuis 2019.

En juin, Anthropic a indiqué que ce rythme s'était accéléré pour atteindre tous les quatre mois, une tendance qui, si elle se confirme, pourrait bientôt permettre à l'IA de gérer des projets qui occupent des chercheurs expérimentés pendant des jours, voire des semaines.

ALORS POURQUOI LES ENTREPRISES SPÉCIALISÉES DANS L'IA NE MARQUENT-ELLES PAS DÉJÀ UNE PAUSE ?

De nombreux chercheurs décrivent cette situation comme un dilemme du prisonnier classique. Même les entreprises qui estiment que les risques sont réels subissent une pression intense de la part de leurs concurrents. Toute entreprise qui ralentit son développement risque de se faire distancer par ses rivaux dans une course technologique devenue l'une des plus importantes au monde.

Les enjeux sont aggravés par le fait qu'OpenAI et Anthropic préparent toutes deux des introductions en Bourse qui pourraient potentiellement les valoriser à des milliers de milliards de dollars, des valorisations qui dépendent des promesses du prochain modèle.

L'administration du président américain Donald Trump a également rejeté les appels à ralentir , craignant qu'une pause ne fasse que donner à la Chine l'occasion de combler son retard dans une technologie qu'elle considère comme essentielle à la sécurité nationale et économique.

QUE SIGNIFIERAIT UNE PAUSE DANS LE DÉVELOPPEMENT ?

Les marchés ont donné un **aperçu** des implications cette semaine, les actions liées à l'IA ayant chuté suite aux appels à un ralentissement. Les fabricants de puces, les fournisseurs de services cloud et les opérateurs de centres de données ont bâti leur croissance autour de cette technologie, et tout ralentissement menace les revenus liés à la rapidité avec laquelle les laboratoires ont besoin de nouveau matériel.

Certains analystes estiment toutefois que, même en l'absence de nouvelles exigences en matière d'entraînement, la demande en matière d'inférence et le carnet de commandes existant pourraient soutenir la croissance de Nvidia et de ses concurrents.

POURQUOI CERTAINS RESTENT-ILS SCEPTIQUES ?

Dans une étude menée par l'université de Princeton, les principaux agents d'IA ont été capables d'effectuer des tâches d'ingénierie, mais ont eu du mal à identifier des idées scientifiques valables.

Certains dirigeants de la Silicon Valley et certains détracteurs s'interrogent également sur les motivations qui sous-tendent ces mises en garde, suggérant qu'elles visent à la fois à attirer l'intérêt pour la technologie et à justifier des réglementations qui augmenteraient les coûts pour les concurrents, alors même que les modèles open source rattrapent leur retard sur les systèmes de pointe.

David Sacks, qui a occupé le poste de “tsar” de l'IA et de la cryptographie à la Maison Blanche, a déclaré que les grands laboratoires pourraient chercher à s'approprier le cadre réglementaire (“regulatory capture”), en imposant des règles qui imposeraient aux petits concurrents des charges de conformité coûteuses et affaibliraient la concurrence.

par Aditya Soni

((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))