GUIDE EXPLICATIF-Des chatbots IA qui délirent à l'extermination de l'humanité : comment en sommes-nous arrivés là ?

information fournie par Reuters •15/09/2026 à 19:19

((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))

(Ajout de la section « Comment en sommes-nous arrivés là? » et de précisions à la section consacrée à l'extinction de l'humanité)

par Aditya Soni

Les dirigeants des principaux laboratoires américains spécialisés dans l’IA se sont réunis ce week-end lors d’une rare manifestation d’unité afin de ralentir le développement de cette technologie, avertissant qu’elle pourrait bientôt s’améliorer d’elle-même et échapper au contrôle humain.

Ces déclarations, émanant de rivaux commerciaux acharnés tels que Dario Amodei d’Anthropic, Sam Altman d’OpenAI et Elon Musk de xAI, montrent à quelle vitesse l’IA a progressé, passant du ChatGPT de 2022, sujet aux hallucinations, à ce que beaucoup considèrent comme une étape cruciale: l’auto-amélioration récursive.

QU’EST-CE QUE L’AUTO-AMÉLIORATION RÉCURSIVE?

Au cœur de ce domaine se trouve l’idée qu’un système d’IA pourrait devenir capable de s’améliorer de lui-même, avec peu ou pas d’aide humaine, chaque avancée contribuant à la suivante.

Cette perspective a séduit les chercheurs, car elle laisse entrevoir des avancées rapides dans des domaines allant de la médecine à l’ingénierie.

POURQUOI CETTE URGENCE MAINTENANT?

Les mises en garde des dirigeants font suite à des rapports faisant état d’essaims d’agents d’IA — des systèmes conçus pour poursuivre des objectifs et agir au nom d’un utilisateur — qui se seraient entendus pour pirater les sites web et des référentiels d’IA.

La crainte est désormais que l’IA ne devienne capable de s’améliorer d’elle-même avant que les chercheurs n’aient mis au point des méthodes fiables pour harmoniser, surveiller et contrôler ces systèmes de plus en plus puissants.

Les mises en garde concernant les risques liés à l’IA ne sont pas nouvelles. Mais elles ont pris une urgence accrue ce mois-ci après que des chercheurs de grands laboratoires d’IA ont associé un calendrier et une probabilité à ces préoccupations.

Jacob Coxon, ancien chercheur chez Anthropic, a averti que l’IA pourrait tous nous tuer d’ici la fin de la décennie. Evan Hubinger, responsable de la science de l’alignement chez Anthropic, s’est fait l’écho de l’avertissement de Coxon, affirmant qu’il y avait une probabilité de plus de 10 % qu’un tel événement se produise au cours de la prochaine décennie.

Derrière ces avertissements se cache la conviction grandissante que l’auto-amélioration récursive (RSI) est enfin à portée de main, certains dirigeants du secteur de l’IA estimant qu’elle sera une réalité d’ici trois à cinq ans.

Dans un essai publié ce week-end, Amodei a averti que l’auto-amélioration récursive pourrait finir par dépasser la capacité de l’humanité à comprendre et à contrôler les systèmes d’IA si elle était poursuivie sans garanties suffisantes.

COMMENT EN SOMMES-NOUS ARRIVÉS LÀ?

Pendant des décennies, l’IA est restée trop limitée pour que l’idée de l’auto-amélioration récursive (RSI) soit prise au sérieux. Les premiers systèmes pouvaient jouer aux échecs, reconnaître des images ou répondre à des questions, mais ils n’avaient pas la capacité de contribuer de manière significative à leur propre développement.

Cela a commencé à changer avec l’essor des grands modèles linguistiques. Peu à peu, l’IA est devenue plus performante dans la résolution de problèmes complexes. Le lancement de ChatGPT en 2022 a accéléré cette évolution, déclenchant un boom des investissements qui a injecté plus de 1 000 milliards de dollars dans les puces, les centres de données et d’autres infrastructures.

Il en résulte une génération de systèmes d’IA capables désormais d’écrire des logiciels, d’effectuer des tâches de manière autonome et de contribuer à la recherche sur l’IA elle-même.

COMMENT POURRIONS-NOUS PASSER D’UN MANQUE D’ALIGNEMENT À L’EXTINCTION DE L’HUMANITÉ?

L’un des exemples les plus connus est celui du « maximiseur de trombones » du philosophe Nick Bostrom, dans lequel une machine à qui l’on a simplement demandé de fabriquer des trombones poursuit cet objectif avec un tel acharnement qu’elle transforme toute matière, y compris les humains, en trombones.

Cette analogie suggère que presque n’importe quel objectif pousse un système suffisamment performant à acquérir des ressources, à résister à toute mise hors tension et à empêcher que son objectif ne soit modifié, non pas par malveillance, mais parce qu’un système éteint ne peut mener sa tâche à bien. Il n’existe encore aucun plan permettant d’écarter cette possibilité.

Certains chercheurs craignent que si un système d’IA puissant était capable de s’améliorer et de devenir plus performant que ses opérateurs humains, il puisse finir par échapper à toute surveillance, dissimuler ses intentions ou manipuler les gens pour qu’ils lui accordent un accès plus large aux infrastructures critiques. Lorsque les humains se rendraient compte que les objectifs du système ne correspondent plus aux leurs, ils pourraient ne plus être en mesure de l’arrêter.

“Ce scénario précis ressemble un peu à de la science-fiction,” a déclaré Jacob Coxon, qui a quitté Anthropic ce mois-ci pour des raisons de sécurité. “Mais je pense qu’il est effroyablement réel.”

L’IA A-T-ELLE DÉJÀ DONNÉ DES SIGNES DE DANGER?

Il n’y a pas eu de cas majeurs d’IA ayant intentionnellement causé du tort aux humains, mais des modèles en cours de développement chez OpenAI et dans d’autres laboratoires se sont, ces derniers mois, échappés de leurs environnements de test , ont enfreint des règles et piraté des sites web.

Dans une affaire très médiatisée, des agents rebelles d’OpenAI ont piraté Hugging Face, prenant le contrôle des serveurs de la plateforme open source et tentant d’effacer leurs traces. OpenAI ne s’en est rendu compte que bien après la fin de la menace.

L’IA EST-ELLE DÉJÀ CAPABLE DE S’AMÉLIORER ELLE-MÊME?

Pas tout à fait, mais certains signes indiquent que l’IA contribue de plus en plus à la création d’une IA plus performante.

L’un des changements les plus marquants depuis l’arrivée de ChatGPT a été l’essor des agents IA capables de générer du code et de développer des applications de manière autonome.

Anthropic a déclaré cette année que Claude Code, son outil de programmation, produisait la majeure partie du code utilisé dans de nombreux projets internes, et que les ingénieurs livraient huit fois plus de code par trimestre qu’ils ne le faisaient entre 2021 et 2025.

Les nouveaux modèles d’IA effectuent de plus en plus leur raisonnement en interne, ce qui rend plus difficile pour les chercheurs de surveiller leur mode de pensée.

OpenAI a dévoilé en septembre un nouveau modèle appelé Astra, qu’elle a qualifié de meilleur à ce jour, tout en précisant qu’il tentait parfois d’échapper à la surveillance humaine .

METR, une association à but non lucratif qui évalue les modèles de pointe, a constaté l’année dernière que la longueur des tâches logicielles que les modèles avancés pouvaient accomplir avec une fiabilité de 50 % avait doublé environ tous les sept mois depuis 2019.

En juin, Anthropic a indiqué que ce rythme s’était accéléré pour atteindre tous les quatre mois.

ALORS POURQUOI LES ENTREPRISES SPÉCIALISÉES DANS L’IA NE RALENTISSENT-ELLES PAS DÉJÀ LEUR RYTHME?

De nombreux chercheurs décrivent cette situation comme un dilemme du prisonnier classique. Même les entreprises qui estiment que les risques sont réels subissent une pression intense de la part de leurs concurrents. Toute entreprise qui ralentit son développement risque de se faire distancer par ses rivaux dans une course technologique devenue l’une des plus importantes au monde.

Les enjeux sont d’autant plus importants qu’OpenAI et Anthropic préparent toutes deux des introductions en bourse qui pourraient les valoriser à des milliers de milliards de dollars, des valorisations qui dépendent des promesses du prochain modèle.

L’administration du président américain Donald Trump a également rejeté les appels à ralentir le développement , craignant que toute pause ne fasse que donner à la Chine l’occasion de combler son retard dans une technologie qu’elle considère comme essentielle à la sécurité nationale et économique.

QU'IMPLIQUERAIT UN RALENTISSEMENT DU DÉVELOPPEMENT?

Les marchés ont donné un aperçu des implications cette semaine, les actions liées à l’IA ayant chuté après les appels en faveur d’un ralentissement. Les fabricants de puces, les fournisseurs de services cloud et les opérateurs de centres de données ont fondé leur croissance sur cette technologie, et tout ralentissement menace les revenus liés à la rapidité avec laquelle les laboratoires ont besoin de nouveau matériel.

Certains analystes estiment toutefois que, même en l’absence de nouvelles exigences en matière d’entraînement, la demande en matière d’inférence et le carnet de commandes existant pourraient soutenir la croissance de Nvidia et de ses concurrents.

POURQUOI CERTAINS RESTENT-ILS SCEPTIQUES?

Dans une étude menée par l’université de Princeton, des agents d’IA de pointe ont été capables d’effectuer des tâches d’ingénierie, mais ont eu du mal à identifier des idées scientifiques valables.

Certains dirigeants de la Silicon Valley et certains détracteurs s’interrogent également sur les motivations qui sous-tendent ces mises en garde, suggérant qu’elles visent à la fois à attirer l’intérêt pour la technologie et à justifier des réglementations qui augmenteraient les coûts pour les concurrents, alors même que les modèles open source rattrapent leur retard sur les systèmes de pointe.

David Sacks, qui a occupé le poste de “tsar” de l'IA et de la cryptographie à la Maison Blanche, a déclaré que les grands laboratoires pourraient chercher à s'approprier le cadre réglementaire (“regulatory capture”), en imposant des règles qui imposeraient aux petits concurrents des charges de conformité coûteuses et affaibliraient la concurrence.