((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
*
Selon des chercheurs, des milliers de serveurs exécutent des LLM open source en dehors des contrôles de sécurité des principales plateformes d'IA
*
Des chercheurs identifient des garde-fous supprimés dans des centaines d'instances de LLM open source
*
Les LLM peuvent être exploités pour des campagnes de spam, de phishing et de désinformation, avertissent les chercheurs
(Ajout d'un lien vers la recherche au paragraphe 3) par AJ Vicens
Des pirates informatiques et d'autres criminels peuvent facilement réquisitionner des ordinateurs qui exploitent de grands modèles de langage open source en dehors des garde-fous et des contraintes des principales plateformes d'intelligence artificielle, créant ainsi des risques et des vulnérabilités en matière de sécurité, ont déclaré des chercheurs jeudi.
Les pirates pourraient cibler les ordinateurs utilisant les LLM et les diriger vers des opérations de spam, de création de contenu de phishing ou de campagnes de désinformation, en échappant aux protocoles de sécurité des plateformes, ont déclaré les chercheurs.
La recherche , menée conjointement par les sociétés de cybersécurité SentinelOne S.N et Censys pendant 293 jours et communiquée en exclusivité à Reuters, offre une nouvelle fenêtre sur l'ampleur des cas d'utilisation potentiellement illicites pour des milliers de déploiements de LLM à source ouverte. Selon les chercheurs, il s'agit notamment de piratage, de discours haineux et de harcèlement, de contenu violent ou gore, de vol de données personnelles, d'escroquerie ou de fraude et, dans certains cas, de matériel pédopornographique.
Bien qu'il existe des milliers de variantes de LLM à code source ouvert, une grande partie des LLM sur les hôtes accessibles sur l'internet sont des variantes du META.O Llama de Meta, de Gemma de Google DeepMind et d'autres, d'après les chercheurs. Alors que certains des modèles open source incluent des garde-fous, les chercheurs ont identifié des centaines de cas où les garde-fous ont été explicitement supprimés.
Les discussions de l'industrie de l'IA sur les contrôles de sécurité "ignorent cette sorte de capacité excédentaire qui est clairement utilisée pour toutes sortes de choses, certaines légitimes, d'autres manifestement criminelles", a déclaré Juan Andres Guerrero-Saade, directeur exécutif de l'intelligence et de la recherche en matière de sécurité chez SentinelOne. M. Guerrero-Saade compare la situation à un "iceberg" qui n'est pas correctement pris en compte par l'industrie et la communauté des logiciels libres.
L'ÉTUDE EXAMINE LES INVITES DU SYSTÈME
L'étude a analysé les déploiements accessibles au public de LLM open source déployés par l'intermédiaire d'Ollama, un outil qui permet aux personnes et aux organisations d'exécuter leurs propres versions de divers modèles à grand langage.
Les chercheurs ont pu voir les invites du système, qui sont les instructions dictant le comportement du modèle, dans environ un quart des LLM qu'ils ont observés. Ils ont déterminé que 7,5 % d'entre eux pouvaient potentiellement permettre une activité nuisible.
Environ 30 % des hôtes observés par les chercheurs opèrent en Chine, et environ 20 % aux États-Unis.
Rachel Adams, directrice générale et fondatrice du Global Center on AI Governance, a déclaré dans un courriel qu'une fois que les modèles ouverts sont publiés, la responsabilité de ce qui se passe ensuite est partagée par l'ensemble de l'écosystème, y compris les laboratoires d'origine.
"Les laboratoires ne sont pas responsables de toutes les utilisations abusives en aval (qui sont difficiles à anticiper), mais ils conservent un important devoir de diligence pour anticiper les dommages prévisibles, documenter les risques et fournir des outils d'atténuation et des conseils, en particulier compte tenu de l'inégalité des capacités d'application au niveau mondial", a déclaré Rachel Adams.
Un porte-parole de Meta a refusé de répondre aux questions concernant les responsabilités des développeurs en matière d'abus en aval des modèles open source et la manière dont les problèmes peuvent être signalés, mais il a mentionné les outils de protection de Llama de l'entreprise pour les développeurs de Llama, ainsi que le guide d'utilisation responsable de Meta Llama de l'entreprise.
Ram Shankar Siva Kumar, chef de l'équipe rouge de Microsoft AI, a déclaré dans un courriel que Microsoft MSFT.O estime que les modèles open source "jouent un rôle important" dans divers domaines, mais que "dans le même temps, nous sommes conscients que les modèles ouverts, comme toutes les technologies de transformation, peuvent être utilisés à mauvais escient par des adversaires s'ils sont diffusés sans mesures de protection appropriées."
Microsoft effectue des évaluations préalables à la diffusion, notamment des processus visant à évaluer "les risques liés aux scénarios d'exposition à l'internet, d'auto-hébergement et d'appel d'outils, où les risques d'utilisation abusive peuvent être élevés", a-t-il déclaré. L'entreprise surveille également les menaces émergentes et les schémas d'utilisation abusive. "En fin de compte, l'innovation ouverte responsable exige un engagement partagé entre les créateurs, les déployeurs, les chercheurs et les équipes de sécurité."
Ollama n'a pas répondu à une demande de commentaire. Alphabet's GOOGL.O Google et Anthropic n'ont pas répondu aux questions.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer