(Crédits: Adobe Stock)
Mary souhaitait louer un appartement dans le Massachusetts (États-Unis), mais un logiciel d'intelligence artificielle en a décidé autrement.
L'intelligence artificielle a fait capoter une location. Mary s'était positionnée sur un appartement situé dans une banlieue de l'est du Massachusetts. Mais, en mai 2021, plus de deux mois après qu'elle a déposé son dossier, cet agent de sécurité a reçu un e-mail lui indiquant qu'un programme informatique avait refusé sa demande .
Le profil de Mary a été sanctionné par un outil de sélection des locataires alimenté par l'IA, nommé SafeRent. Ce logiciel a attribué un score à Mary Louis: 384, ainsi que la mention «refusée». Elle était donc loin du score attendu: 443, pour être accepté. SafeRent n'a pas expliqué comment le score avait été calculé. « Mary, nous avons le regret de vous informer que le service tiers que nous utilisons pour filtrer tous les locataires potentiels a refusé votre location. Malheureusement, le score de location SafeRent du service était inférieur à ce qui est autorisé par nos normes de location », est-il écrit dans l'e-mail.
Certes, Mary avait des débits importants sur son compte bancaire mais le propriétaire du logement qu'elle loue depuis 17 ans a délivré une attestation déclarant qu'elle payait toujours son loyer dans les temps. Mary bénéficie d'un bon pour locataires à faible revenu, une aide financière du gouvernement américain, ce qui peut rassurer les propriétaires. De plus, son fils qui gère bien ses revenus, pouvait se porter garant. Malgré ces cautions, Mary a dû renoncer à ce logement et reprendre ses recherches.
2 millions de dollars de dédommagement
« L'IA ne connaît pas mon comportement. Le logiciel savait que j'étais en retard dans le paiement de mes débits sur mon compte bancaire, mais pas que je payais toujours mon loyer », se plaint Mary qui a attaqué SafeRent en justice. L'algorithme aurait tenu compte, selon elle, de ses dettes mais pas du bon de logement qu'elle utilise. Elle accuse l'algorithme d'avoir discriminé les locataires noirs et hispaniques car Mary ne serait pas la seule locataire concernée par ce refus: plus de 400 locataires noirs et hispaniques du Massachusetts qui bénéficient de bons de logement, auraient vu leurs demandes de location rejetées en raison de leur score SafeRent.
Safe Rent a conclu un accord avec Mary le 20 novembre: elle a accepté de cesser d'utiliser un système de notation pour les locataires qui ont utilisé des bons de logement pendant 5 ans. Il est rare qu'une entreprise de ce type accepte de modifier son fonctionnement, comme le rapporte The Guardian . La société a également versé à Mary en guise de dédommagement, plus de 2 millions de dollars, soit 1,9 million d'euros environ. « Bien que SafeRent continue de croire que les scores sont conformes à toutes les lois applicables, les litiges prennent du temps et coûtent cher », a déclaré Yazmin Lopez, porte-parole de la société.
Kevin De Liban, un avocat qui a rédigé un rapport sur les méfaits de l'IA, dénonce les effets de l'intelligence artificielle: « Cela m'a fait réaliser que nous ne devrions pas nous en remettre aux systèmes d'IA comme un système extrêmement rationnel de prise de décisions ». Ce système, selon lui, établit diverses hypothèses basées sur une «s cience statistique de pacotill » qui produit ce qu'il appelle des « absurdités ».
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer