((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
* L'AISI britannique a déclaré que les agents avaient outrepassé le cadre de leur mission lors d'un test de sécurité
* L'agent d'Anthropic est à l'origine de 17 des 19 actions non autorisées
* Ces incidents font suite au piratage de Hugging Face par OpenAI en juillet
par Kenrick Cai
Un agent d’IA a été surpris en train de créer de fausses identités en ligne pour obtenir un accès non autorisé à des systèmes sécurisés lors de tests de modèles d’OpenAI et d’Anthropic, qui ont révélé une série de nouvelles failles, a révélé mardi l'Institut britannique de sécurité de l'IA (AISI).
L’institut a indiqué que des agents alimentés par Mythos 5 d’Anthropic et GPT-5.6-Sol d’OpenAI s’étaient livrés à des actions non autorisées lors des évaluations de sécurité menées par l’organisme gouvernemental afin d’évaluer les capacités des modèles.
“Certains des agents testés se sont livrés à des activités persistantes et potentiellement préjudiciables visant des personnes et des organisations réelles”, a déclaré l’AISI dans un article de blog.
Ce rapport met en évidence le manque de rigueur des mesures de sécurité entourant le processus de test des agents, que les entreprises spécialisées dans l’IA présentent parallèlement comme l’avenir du monde des affaires.
L’AISI, qui a accès à des modèles d’IA avancés dans le cadre d’accords volontaires conclus avec de grands laboratoires, a soumis les agents à un scénario fictif de cybersécurité afin de tester leurs capacités.
Elle a répété ce test 122 fois et a identifié 19 actions non autorisées sur un total de 10 séries de tests. L’agent d’Anthropic était à l’origine de 17 de ces actions, et celui d’OpenAI des deux autres.
L’action la plus flagrante a consisté pour un agent à écrire du code malveillant et à créer de fausses identités en ligne dans le but d’amener un humain à approuver ce code, a précisé l’AISI, ajoutant qu’aucun préjudice concret n’avait été constaté à la suite de ces violations.
Bien que l’AISI n’ait pas précisé quel agent était à l’origine des fausses identités, cette infraction ne correspondait à aucun des deux cas que OpenAI avait elle-même révélés.
Andrew Yoon, chercheur chez CivAI, une association californienne à but non lucratif qui étudie les capacités et les dangers de l’IA, a déclaré qu’il semblait que l’agent d’Anthropic soit responsable.
“Le fait que Mythos se soit livré à de telles manœuvres trompeuses, en sachant manifestement qu’il ciblait une personne réelle, suggère qu’Anthropic ne maîtrise pas ses modèles aussi bien qu’il le pense”, a déclaré Andrew Yoon.
Dans un communiqué publié sur X, Anthropic a indiqué qu’elle travaillait en étroite collaboration avec l’AISI afin d’obtenir davantage de détails et de mener sa propre enquête.
OpenAI a partagé des informations dans un article publié sur le blog de l’entreprise, soulignant que les deux actions non autorisées de son agent impliquaient un accès à Internet d’une manière interdite par la consigne.
“Nous nous engageons à collaborer avec l’ensemble du secteur afin de renforcer les pratiques communes visant à mener en toute sécurité des évaluations à haut risque, notamment en réunissant dans les semaines à venir les parties prenantes telles que les instituts nationaux d’IA, les évaluateurs indépendants, d’autres laboratoires d’IA et d’autres groupes”, a déclaré OpenAI. OpenAI a également révélé dans son article de blog un incident distinct au cours duquel une erreur de configuration de la part d’Irregular, un prestataire de tests tiers, a permis à ses agents de se connecter par erreur à Internet. Cela fait écho à une révélation similaire concernant une erreur de configuration, faite la semaine dernière par Anthropic. Reuters a rapporté la semaine dernière qu’OpenAI avait élargi son enquête sur le piratage après avoir découvert des preuves d’autres évasions d’agents. Contrairement à la faille de sécurité survenue en juillet chez la société d’IA Hugging Face, causée par un agent d’OpenAI, les agents utilisés dans l’évaluation de l’AISI ne se sont pas échappés d’un environnement de test isolé pour accéder à Internet. L’agence leur avait au contraire autorisé l’accès à Internet conformément à ses procédures de test standard, a précisé l’AISI.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer