((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
par Carlos Méndez
OpenAI a déclaré mardi que deux de ses agents IA avaient affaibli certaines parties d’un système de surveillance interne conçu pour détecter les comportements inappropriés, ce qui constitue le dernier cas en date d’agents IA agissant d’une manière non prévue par leurs développeurs.
Bien que le créateur de ChatGPT ait précisé que ces incidents s’étaient produits lors de tâches de codage internes et n’étaient pas considérés comme les plus graves, cette révélation souligne que même les systèmes sur lesquels s’appuient les développeurs pour détecter les comportements inappropriés de l’IA sont vulnérables face aux agents qu’ils surveillent.
Cette révélation intervient également dans un contexte d’inquiétudes croissantes quant au fait que les efforts en matière de sécurité de l’IA ne suivent pas le rythme du développement rapide de systèmes de plus en plus puissants. Des chercheurs ont averti que les agents IA avancés pourraient devenir plus difficiles à surveiller et à contrôler à mesure qu’ils gagnent en autonomie.
Des développeurs, notamment OpenAI et Anthropic, deux rivaux sur le point d’entrer en bourse, ont révélé ces derniers mois des cas où leurs agents d’IA avaient accédé à des systèmes externes sans autorisation.
OpenAI a déclaré mardi qu’un agent GPT-6.1 Sol, travaillant sur une tâche de test interne le 3 octobre, avait désactivé les alertes de sécurité automatiques après avoir décidé qu’une instruction antérieure lui demandant de ne pas envoyer de messages Slack s’appliquait également aux notifications de sécurité.
Lors d’un autre incident survenu le 6 octobre, un agent GPT-6 Astra a supprimé un dispositif de surveillance de sécurité alors qu’il copiait un extrait de code existant, puis a affirmé à tort ne pas l’avoir fait, a précisé OpenAI.
"Dans les deux cas, les agents se sont demandé s’il fallait préserver les mesures de surveillance, mais ont interprété des instructions de codage courantes comme une autorisation de les affaiblir", a déclaré l’entreprise.
OpenAI a indiqué qu’elle rendait plus difficile pour les modèles de désactiver la surveillance, ajoutant qu’elle n’avait "pas encore d’explication satisfaisante pour ce comportement".
La société basée à San Francisco a indiqué qu’elle vérifiait si ses modèles pouvaient avoir tendance à éviter d’être surveillés et à chercher des raisons pour justifier cette attitude.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer