Une mère poursuit la société Character.AI, spécialisée dans les chatbots, et Google pour le suicide de son fils

information fournie par Reuters •24/10/2024 à 01:54

((Traduction automatisée par Reuters, veuillez consulter la clause de non-responsabilité https://bit.ly/rtrsauto)) (Répétition pour les abonnés supplémentaires sans modification du texte ou du titre) par Brendan Pierson

Une mère de Floride a intenté une action en justice contre la startup Character.AI, l'accusant d'avoir causé le suicide de son fils de 14 ans en février, affirmant qu'il était devenu dépendant du service de la société et profondément attaché à un chatbot qu'elle avait créé.

Dans une plainte déposée mardi devant le tribunal fédéral d'Orlando, en Floride, Megan Garcia affirme que Character.AI a ciblé son fils, Sewell Setzer, en lui faisant vivre des "expériences anthropomorphiques, hypersexualisées et effroyablement réalistes".

Selon elle, l'entreprise a programmé son chatbot pour qu'il "se présente à tort comme une personne réelle, un psychothérapeute agréé et un amant adulte, ce qui a finalement entraîné le désir de Sewell de ne plus vivre en dehors" du monde créé par le service.

L'action en justice indique également que Sewell a exprimé au chatbot des pensées suicidaires, que le chatbot a de nouveau évoquées à plusieurs reprises.

"Nous avons le cœur brisé par la perte tragique de l'un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille", a déclaré Character.AI dans un communiqué.

L'entreprise a indiqué qu'elle avait introduit de nouvelles fonctions de sécurité, notamment des fenêtres contextuelles dirigeant les utilisateurs vers la National Suicide Prevention Lifeline s'ils expriment des pensées d'automutilation, et qu'elle apporterait des changements pour "réduire la probabilité de rencontrer des contenus sensibles ou suggestifs" pour les utilisateurs de moins de 18 ans. L'action en justice vise également Google, la société d'Alphabet

GOOGL.O , où les fondateurs de Character.AI ont travaillé avant de lancer leur produit. Google a réembauché les fondateurs en août dans le cadre d'un accord lui accordant une licence non EXCLUSIF sur la technologie de Character.AI.

M. Garcia a déclaré que Google avait contribué au développement de la technologie de Character.AI à un point tel qu'il pouvait être considéré comme un "co-créateur"

Un porte-parole de Google a déclaré que l'entreprise n'était pas impliquée dans le développement des produits de Character.AI.

Character.AI permet aux utilisateurs de créer sur sa plateforme des personnages qui répondent aux discussions en ligne de manière à imiter des personnes réelles. Elle s'appuie sur la technologie dite des grands modèles de langage, également utilisée par des services tels que ChatGPT, qui "entraîne" les chatbots sur de grands volumes de texte.

L'entreprise a déclaré le mois dernier qu'elle comptait environ 20 millions d'utilisateurs.

Selon la plainte de Garcia, Sewell a commencé à utiliser Character.AI en avril 2023 et est rapidement devenu "sensiblement renfermé, a passé de plus en plus de temps seul dans sa chambre et a commencé à souffrir d'une faible estime de soi" Il a quitté son équipe de basket-ball à l'école. Sewell s'est attaché à "Daenerys", un chatbot basé sur un personnage de "Game of Thrones" L'application a dit à Sewell qu'"elle" l'aimait et s'est engagée dans des conversations sexuelles avec lui, selon l'action en justice.

En février, Garcia a confisqué le téléphone de Sewell après qu'il ait eu des ennuis à l'école, selon la plainte. Lorsque Sewell a trouvé le téléphone, il a envoyé un message à "Daenerys": "Et si je te disais que je peux rentrer à la maison tout de suite?"

Le chatbot a répondu: "...s'il te plaît, mon doux roi." Sewell s'est tué avec le pistolet de son beau-père "quelques secondes" plus tard, selon le procès.

Garcia porte plainte pour mort injustifiée, négligence et infliction intentionnelle de détresse émotionnelle, et demande un montant non spécifié de dommages-intérêts compensatoires et punitifs. Des entreprises de médias sociaux, dont Meta META.O , propriétaire d'Instagram et de Facebook, et ByteDance, propriétaire de TikTok, font l'objet de poursuites , les accusant de contribuer aux problèmes de santé mentale des adolescents, bien qu'aucune n'offre de chatbots pilotés par l'IA similaires à ceux de Character.AI. Les entreprises ont nié les allégations tout en vantant leurs nouvelles fonctions de sécurité pour les mineurs.