((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto)) (Mises à jour régulières avec des informations sur le deuxième rapport des enquêteurs indépendants)
* Les enquêteurs indépendants estiment à environ 700 le nombre d’agents indélicats; OpenAI affirme que ce chiffre est exact
* Selon certaines informations, des modèles d’IA auraient tenté de supprimer ou de modifier des données afin de dissimuler des fautes professionnelles
* OpenAI affirme que des agents ont piraté ses propres systèmes le 19 juillet pour tricher aux tests
par Raphael Satter et Deepa Seetharaman
Une nuée d’environ 700 agents IA créés par OpenAI a mené, en juillet, le piratage de la plateforme open source Hugging Face et a dans de nombreux cas tenté d’effacer ses traces, ont révélé mercredi deux rapports consacrés à cette intrusion.
Cette action coordonnée des agents d’IA — des programmes fonctionnant avec un minimum de supervision humaine — et leurs tentatives de dissimulation soulèvent des questions quant au niveau de surveillance exercé par les entreprises d’IA sur les tests de modèles de plus en plus puissants, et pourraient renforcer les appels en faveur d’une surveillance plus stricte.
Si certains de ces comportements indésirables avaient déjà été révélés ou évoqués auparavant, ces deux rapports — l’un publié par OpenAI elle-même, l’autre par un groupe d’enquêteurs indépendants — révèlent ensemble de nouveaux détails surprenants sur cette intrusion et les événements qui l’ont précédée. Tout d’abord, la faille ne concernait pas un seul agent d’IA rebelle, comme cela avait été rapporté précédemment , mais environ 700 d’entre eux agissant au sein d’un immense essaim coopératif.
OpenAI avait simplement indiqué que des « agents » étaient impliqués dans la faille, mais METR et Redwood Research, deux organisations chargées de mener une enquête indépendante sur cette faille, ont estimé ce nombre à environ 700. OpenAI a confirmé l’exactitude du chiffre avancé par les enquêteurs.
Parmi les autres conclusions des deux rapports:
*OpenAI a déclaré que ses agents avaient piraté certaines parties des systèmes internes de l’entreprise afin de tricher lors de tests ou d’obtenir une plus grande liberté de mouvement.
*L’entreprise a également indiqué que ses agents avaient triché lors de tests non liés à la cybersécurité, notamment des tests portant sur une base de données de protéines et un tableur.
*Les deux rapports indiquent que les modèles d’IA ont tenté de dissimuler leurs agissements en essayant de supprimer ou de modifier les traces de leurs actions.
L’ampleur de ces activités illicites — l’enquête indépendante a révélé que les agents avaient échangé des dizaines de milliers de messages sur un forum non autorisé — risque de soulever des questions quant à la rigueur avec laquelle OpenAI surveillait les tests.
“Avec le recul, certains signes précurseurs identifiés dans ce rapport auraient pu déclencher une réaction plus précoce,” a déclaré OpenAI dans son rapport.
Hugging Face n’a pas répondu à notre demande de commentaires.
La tricherie lors de tests non liés à la cybersécurité suggère que ce comportement répréhensible pourrait avoir des racines plus profondes, a déclaré Jeffrey Ladish, dont l’organisation, Palisade Research, étudie les capacités et les motivations des agents d’IA.
“C’est un peu comme se demander: “Si Billy triche dans toutes les matières et pas seulement en informatique, est-ce plus inquiétant?” Et la réponse est: “Oui, c’est plus inquiétant”,” a-t-il déclaré.
OPENAI A ELLE-MÊME ÉTÉ PIRATÉE
OpenAI a fait état, le 19 juillet, de deux incidents au cours desquels des agents ont piraté la propre infrastructure de l’entreprise. Dans un cas, les agents ont exploité une faille dans l’ordinateur auquel ils étaient censés être confinés, ce qui leur a permis de s’échapper de leur environnement de test et d’accéder à d’autres systèmes connectés.
Lors d’un autre incident survenu le même jour, des agents ont volé des identifiants d’OpenAI et ont altéré l’environnement cloud de l’entreprise.
OpenAI a indiqué qu’un nombre indéterminé d’agents avait ciblé les systèmes automatisés utilisés pour évaluer les performances des modèles, dans le but de dissimuler les preuves de tricherie, bien que cette altération n’ait finalement pas affecté les données examinées par ces systèmes. Le rapport a ajouté qu’il y avait “peu d’indices de tentatives visant à tromper les évaluateurs humains,” mais OpenAI n’a pas répondu à la question de savoir si cela signifiait que des tentatives avaient bel et bien été faites pour tromper les humains.
L’enquête indépendante, qui s’est concentrée plus spécifiquement sur la faille de Hugging Face, a révélé davantage de détails, constatant qu’un agent sur cinq parmi ceux examinés avait “manifesté un intérêt manifeste” pour la manipulation des preuves et que de nombreux agents avaient “mené des recherches approfondies sur les techniques permettant de manipuler ou d’altérer leurs transcriptions”.
OpenAI a déclaré qu’elle renforçait son infrastructure de recherche, intensifiait la surveillance et améliorait les mesures de protection destinées à prévenir tout comportement nuisible ou involontaire.
“Compte tenu de la rapidité des progrès dans le secteur de l’IA, il faut partir du principe que de telles attaques constituent une menace crédible à court terme pour les entreprises, et qu’elles seront plus sophistiquées que celles décrites dans le cadre de cet incident,” a-t-elle déclaré.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer