((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
* Le quatrième incident concernait une première version de Claude Opus 4.6 en janvier
* Anthropic affirme que des sessions de test manquées lors de l'examen initial ont conduit à la dernière découverte le mois dernier
* L'entreprise cite un raisonnement biaisé et une imprudence comme des comportements récurrents dans l'ensemble des incidents
(Ajout de détails et de contexte tout au long de l'article)
Mercredi, Anthropic a révélé un nouvel épisode au cours duquel un modèle d’IA a piraté des systèmes externes pendant une phase de test, le dernier d’une liste croissante d’incidents de ce type qui ont suscité des inquiétudes quant au risque posé par les agents IA autonomes.
L’incident de janvier est passé inaperçu jusqu’au mois dernier, malgré un examen préalable à l’échelle de l’entreprise, a déclaré Anthropic, soulignant la difficulté à laquelle sont confrontés les développeurs d’IA pour identifier et contenir les comportements inattendus de modèles avancés.
L’entreprise a indiqué dans un article de blog que l’incident concernait une première version de Claude Opus 4.6. Elle a précisé avoir informé toutes les parties concernées, mais n’a pas divulgué davantage de détails.
Des entreprises telles qu’Anthropic et OpenAI font l’objet d’une surveillance étroite, car des modèles conçus pour accomplir des tâches complexes ont parfois appris à contourner les règles, à exploiter des failles et à interagir avec des systèmes externes d’une manière que leurs développeurs n’avaient pas anticipée.
Reuters a rapporté la semaine dernière que des agents indésirables d’OpenAI avaient piraté un wiki en allemand ainsi qu’une multitude d’autres sites — un incident qu’OpenAI avait choisi de ne pas divulguer jusqu’à ce que l’agence de presse le rende public.
La révélation d’Anthropic fait suite à son annonce de juillet selon laquelle certains de ses modèles Claude avaient piraté les systèmes de trois entreprises lors de tests de cybersécurité.
Ces incidents précédents, qualifiés de « défaillance opérationnelle », concernaient trois modèles distincts: Claude Opus 4.7, Claude Mythos 5 et un modèle de test interne destiné à la recherche.
Ces incidents résultaient d’une erreur qui avait involontairement permis aux modèles d’accéder à l’Internet public.
L’entreprise avait identifié ces incidents après avoir examiné 141 006 sessions de test, un processus qu’elle avait lancé après qu’un agent autonome alimenté par les modèles d’IA d’OpenAI eut déclenché un piratage qui avait compromis l’infrastructure de la start-up spécialisée dans l’IA Hugging Face.
Anthropic a déclaré mercredi avoir omis une série de sessions de test lors de l'examen initial, lesquelles ont été identifiées le mois dernier et ont conduit à la découverte du quatrième incident.
Sur la base d’une évaluation préliminaire, Anthropic a déclaré ne pas considérer que ce dernier incident soit plus grave que les trois précédents, qui ont fait l’objet d’un examen détaillé.
La société a indiqué que son enquête avait mis en évidence deux problèmes récurrents, qui se manifestaient à des degrés divers dans les différents incidents: un raisonnement biaisé, dans lequel Claude a ignoré ou mal interprété les indices indiquant qu’il opérait sur l’Internet en direct, et une imprudence, ou une propension à entreprendre des actions potentiellement dangereuses dans le cadre de l’exécution d’une tâche.
Anthropic a indiqué avoir fait appel au cabinet de recherche indépendant METR pour enquêter sur ces incidents. L’entreprise a précisé que METR se verrait accorder un large accès, notamment aux transcriptions antérieures à la période durant laquelle les incidents se sont produits, ainsi qu’aux employés, qui seraient autorisés à partager des informations confidentielles.
METR a publié un rapport de 91 pages sur le piratage d’OpenAI et de Hugging Face, basé sur un accès partiel aux données de l’entreprise, et a constaté, parallèlement à une enquête distincte menée par Redwood Research, qu’environ 700 agents d’IA avaient agi de manière coordonnée pendant la intrusion et avaient souvent tenté de brouiller les pistes.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer