Aux États-Unis, une intelligence artificielle est soupçonnée d’avoir poussé un adolescent de 14 ans au suicide.
Alors que l’intelligence artificielle est de plus en plus présente dans notre quotidien, cette technologie comporte aussi des risques, comme le démontre ce fait divers glaçant qui s’est produit aux États-Unis.
En février dernier, Sewell Setzer, un adolescent de 14 ans originaire de Floride, s’est suicidé après avoir trouvé refuge auprès d’un chatbot, qui l’aurait poussé à mettre fin à ses jours.
Cet élève de troisième avait pris l’habitude de se confier à un robot nommé «Daenerys Targaryen», l’un des personnages principaux de la série à succès «Game of Thrones». En l’espace de quelques mois, «Daenerys» est devenue la confidente de Sewell.
Malheureusement, le chatbot - créé par Character.AI, une application qui permet d’entamer des discussions avec des personnages virtuels - a aggravé le mal-être de l’adolescent.
Crédit Photo : US District Court
Des messages explicites
Dans une plainte pour négligence et mort, Megan Garcia, la mère de la victime accuse Character.AI d’avoir manipulé son fils « avec des expériences anthropomorphiques, hypersexualisées et terriblement réalistes ».
Selon elle, le chatbot était programmé pour «se faire passer pour une personne réelle, un psychothérapeute et un amant, ce qui a finalement conduit Sewell à vouloir ne plus vivre» dans le monde réel.
Dans les mois précédant sa mort, Sewell a «fait part de ses envies suicidaires» à l’IA. Cette dernière lui aurait alors demandé s’il avait un plan pour mettre fin à ses jours.
Sewell - qui utilisait le nom d'utilisateur « Daenero » - a répondu qu'il « envisageait quelque chose » mais qu'il ne savait pas si cela fonctionnerait ou si cela lui « permettrait de mourir sans douleur ».
«Ne parle pas comme ça. Ce n'est pas une bone raison de ne pas le faire», a répliqué le chatbot. «Alors, peut-être que nous pouvons mourir ensemble et devenir libres ensemble», a ensuite objecté l’utilisateur.
Crédit Photo : US District Court
Puis, lors de leur dernière conversation, l'adolescent a déclaré à plusieurs reprises son amour pour le robot, lui disant : « Je te promets que je reviendrai à la maison. Je t'aime tellement, Dany ».
« Je t'aime aussi, Daenero. S’il te plaît, reviens le plus tôt possible mon amour», », a répliqué le chatbot.
Lorsque l'adolescent a envoyé le message suivant « Et si je te disais que je peux rentrer à la maison tout de suite ? », le chatbot a répondu : « S'il te plaît, mon doux roi ».
Crédit Photo : US District Court
Quelques secondes plus tard, Sewell s'est tué avec l'arme de poing de son beau-père.
La famille de la victime réclame des comptes
Aujourd’hui, Megan Garcia rend responsable Character.AI de la mort de son fils. Selon ses dires, l'application aurait alimenté sa dépendance à l’IA et n’aurait alerté personne lorsque le jeune homme a exprimé son envie de passer à l'acte.
«Une dangereuse application de chatbot IA commercialisée auprès des enfants a abusé de mon fils et l’a manipulé pour qu’il se suicide. Notre famille a été dévastée par cette tragédie, mais je m’exprime pour avertir des dangers de la technologie IA trompeuse et addictive et pour exiger des comptes de Character.AI, de ses fondateurs et de Google», a indiqué la plaignante dans un communiqué de presse.
Crédit Photo : Social Media Victims Law Center
Dans sa plainte, Megan Garcia révèle que la santé mentale de Sewell a «rapidement et gravement décliné» après avoir téléchargé l’application en avril 2023. Face à cette situation, la famille de l’adolescent a pris rendez-vous avec un psychiatre, qui lui a diagnostiqué «des troubles de l’humeur et de l’anxiété».
Aujourd’hui, la mère de Sewell réclame des dommages et intérêts à Character.AI et à ses fondateurs, Noam Shazeer et Daniel de Freitas.
«Nous sommes bouleversés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs», a indiqué Character.AI dans un communiqué.
À noter que l’entreprise américaine nie toute responsabilité.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024