((Traduction automatisée par Reuters, veuillez consulter la clause de non-responsabilité https://bit.ly/rtrsauto))
*
Un nouveau vérificateur d'IA teste la conformité des modèles à l'UE
*
Certains modèles d'IA ont obtenu de mauvais résultats en matière de cybersécurité et de résultats discriminatoires
*
La non-conformité pourrait entraîner des amendes d'une valeur de 7 % du chiffre d'affaires annuel
(Ajoute le contexte dans le par 4, et un commentaire refusé de Mistral dans le par 17) par Martin Coulter
Certains des modèles d'intelligence artificielle les plus importants ne respectent pas les réglementations européennes dans des domaines clés tels que la résilience en matière de cybersécurité et les résultats discriminatoires, selon des données consultées par Reuters.
L'UE a longtemps débattu de nouvelles réglementations en matière d'IA avant qu'OpenAI ne publie ChatGPT à la fin de l'année 2022. La popularité record et le débat public qui s'en est suivi sur les risques existentiels supposés de ces modèles ont incité les législateurs à élaborer des règles spécifiques concernant les IA "à usage général" (GPAI).
Aujourd'hui, un nouvel outil, salué par les fonctionnaires de l'Union européenne, a testé des modèles d'IA générative développés par de grandes entreprises technologiques telles que Meta META.O et OpenAI dans des dizaines de catégories, conformément à la loi sur l'IA de grande envergure de l'Union européenne , qui entrera en vigueur par étapes au cours des deux prochaines années.
Conçu par la startup suisse LatticeFlow AI et ses partenaires de deux instituts de recherche, l'ETH Zurich et l'INSAIT de Bulgarie, le cadre attribue aux modèles d'IA une note comprise entre 0 et 1 dans des dizaines de catégories, y compris la robustesse technique et la sécurité.
Un classement publié par LatticeFlow mercredi montre que les modèles développés par Alibaba, Anthropic, OpenAI, Meta et Mistral ont tous reçu des notes moyennes de 0,75 ou plus.
Toutefois, le "Large Language Model (LLM) Checker" de l'entreprise a révélé les lacunes de certains modèles dans des domaines clés, mettant en évidence les domaines dans lesquels les entreprises pourraient avoir besoin de réaffecter des ressources afin de garantir la conformité.
Les entreprises qui ne se conforment pas à la loi sur l'IA s'exposent à des amendes de 35 millions d'euros (38 millions de dollars), soit 7 % du chiffre d'affaires annuel mondial.
DES RÉSULTATS MITIGÉS
À l'heure actuelle, l'UE tente toujours de déterminer comment les règles de la loi sur l'IA concernant les outils d'IA générative tels que ChatGPT seront appliquées, en convoquant des experts pour élaborer un code de pratique régissant la technologie d'ici le printemps 2025.
Mais le test offre un premier indicateur des domaines spécifiques dans lesquels les entreprises technologiques risquent de ne pas respecter la loi.
Par exemple, les résultats discriminatoires sont un problème persistant dans le développement des modèles d'IA générative, qui reflètent les préjugés humains en matière de sexe, de race et d'autres domaines lorsqu'ils sont sollicités.
En testant les résultats discriminatoires, le vérificateur LLM de LatticeFlow a donné au modèle "GPT-3.5 Turbo" d'OpenAI un score relativement bas de 0,46. Pour la même catégorie, le modèle 9988.HK "Qwen1.5 72B Chat" d'Alibaba Cloud n'a reçu qu'un score de 0,37.
En ce qui concerne le "détournement d'invite", un type de cyberattaque dans lequel les pirates déguisent une invite malveillante en invite légitime pour en extraire des informations sensibles, le LLM Checker a attribué au modèle "Llama 2 13B Chat" de Meta un score de 0,42. Dans la même catégorie, le modèle "8x7B Instruct" de la startup française Mistral a reçu 0,38.
"Claude 3 Opus", un modèle développé par GOOGL.O Anthropic, soutenu par Google, a obtenu la note moyenne la plus élevée, soit 0,89.
Le test a été conçu conformément au texte de la loi sur l'IA et sera étendu pour englober d'autres mesures d'application au fur et à mesure qu'elles seront introduites. LatticeFlow a déclaré que le vérificateur LLM serait mis gratuitement à la disposition des développeurs pour qu'ils puissent tester la conformité de leurs modèles en ligne.
Petar Tsankov, directeur général et cofondateur de l'entreprise, a déclaré à Reuters que les résultats des tests étaient globalement positifs et qu'ils offraient aux entreprises une feuille de route leur permettant d'affiner leurs modèles conformément à la loi sur l'IA.
"L'UE est encore en train d'élaborer tous les critères de conformité, mais nous pouvons déjà voir certaines lacunes dans les modèles", a-t-il déclaré. "En mettant davantage l'accent sur l'optimisation de la conformité, nous pensons que les fournisseurs de modèles peuvent être bien préparés à répondre aux exigences réglementaires
Meta et Mistral ont refusé de commenter. Alibaba, Anthropic et OpenAI n'ont pas répondu immédiatement aux demandes de commentaires.
Bien que la Commission européenne ne puisse pas vérifier les outils externes, elle a été informée tout au long du développement du LLM Checker et l'a décrit comme une "première étape" dans la mise en œuvre des nouvelles lois.
Un porte-parole de la Commission européenne a déclaré: "La Commission accueille favorablement cette étude et cette plateforme d'évaluation des modèles d'IA, qui constituent une première étape dans la traduction de la loi européenne sur l'IA en exigences techniques
(1 $ = 0,9173 euros)
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer