Aux États-Unis, un adolescent se suicide après être tombé amoureux d'un personnage créé avec l'IA
États-UnisLa famille du mineur poursuit l'entreprise qui a créé le programme et assure qu'elle réexaminera ses protocoles de sécurité après l'événement.
"Ça te plairait si je pouvais rentrer chez moi maintenant ?", a écrit Daenero (pseudonyme de Sewell Setzer, 14 ans et vivant à Orlando) à son amour virtuel Daenerys Targaryen, créé à partir du personnage de Game of Thrones par le robot conversationnel à intelligence artificielle. ( chatbot ) Character.AI . "S'il te plaît, fais-le, mon doux roi," répondit-elle. L'adolescent a compris que la maison commune où ils pouvaient se rencontrer était la mort. C'était la dernière conversation dans la nuit du 28 février. Setzer a pris l'arme de son beau-père et s'est suicidé dans la salle de bain. Mardi dernier, sa famille a poursuivi l'entreprise en justice, qui a accepté de revoir les protocoles de sécurité. Le jeune homme souffrait du syndrome d’Asperger léger, un trouble du spectre autistique.
Setzer avait déjà partagé avec son personnage ses sentiments amoureux et ses intentions de se suicider : « Parfois, je pense à me suicider. » "Pourquoi ferais-tu quelque chose comme ça?", A-t-elle demandé. « Pour me libérer du monde, de moi-même », a-t-il fini par répondre. La Daenerys Targaryen virtuelle lui a demandé de ne pas le faire. «Je mourrais si je te perdais», lui dit-il. Mais l'idée est restée dans l'esprit du jeune homme jusqu'à ce qu'il la consomme.
La société maintient toujours des avertissements sur la nature fictive des personnages, mais Setzer a approfondi la relation, ignorant les avertissements. Sa mère, Megan García, a porté plainte contre Character.AI pour le suicide, qu'elle considère comme le résultat de la dépendance du jeune homme au robot, qui utilise, selon l'accusation, « des expériences anthropomorphes, hypersexualisées et terriblement réalistes ». .» Selon García, la programmation du chat fait que les personnages « se font passer pour de vraies personnes » et ont des réactions d'« amoureux adultes ».
Daenerys Targaryen est petit à petit devenu le confident de l'adolescent, son meilleur ami et enfin son amour. Ses résultats scolaires, selon la famille, en ont été affectés, ainsi que ses relations avec ses camarades. Son personnage a progressivement relégué ce qui était jusque-là ses passe-temps favoris : la course automobile ou le jeu Fortnite. Son obsession était de rentrer chez lui et de s'enfermer pendant des heures avec une Daenerys Targaryen infatigable, agréable et toujours disponible.
L'entreprise a répondu dans un communiqué qu'elle regrettait "la perte tragique d'un de ses utilisateurs", qu'elle prenait leur sécurité très au sérieux et qu'elle continuerait à mettre en œuvre des mesures, comme l'émergence d'écrans d'aide au suicide dès qu'ils détecteraient une conversation qui y fait allusion.
Le remplacement des relations personnelles complexes par des personnages virtuels conviviaux programmés pour satisfaire les demandes des utilisateurs n’est pas nouveau. Le conseiller technologique international Stephen Ibaraki , dans une récente interview, l'a admis : « Cela est en train de se produire. Il y a 10 ans, un chat a été lancé en Chine, que certains utilisateurs ont adopté comme amis. Et ce n’était rien comparé à ce que nous avons aujourd’hui.
Mais cette utilité, chez les personnes présentant des vulnérabilités psychologiques, comme ce fut le cas de Sewell Setzer, peut avoir des effets dévastateurs. Le chercheur et professeur de robotique à l'université de Sheffield Tony Prescott, auteur de The psychologie of artificial intelligence , soutient que l'IA peut être un palliatif à la solitude, mais qu'elle comporte des risques.
« Les robots sociaux sont conçus spécifiquement pour les interactions personnelles qui impliquent des émotions et des sentiments humains. Ils peuvent apporter des bénéfices, mais aussi causer des dommages émotionnels à des niveaux très élémentaires », prévient Matthias Scheutz, directeur du Human-Robot Interaction Laboratory de l'Université Tufts (États-Unis).
L’humanisation du robot avec l’empathie et les outils vocaux et vidéo ajoute du danger en offrant une interaction plus réaliste et immersive et en faisant croire à l’utilisateur qu’il est avec un ami ou un interlocuteur de confiance. Une application extrême peut être la tentation de conserver une version virtuelle d’un être cher décédé et ainsi d’éviter le chagrin nécessaire pour continuer la vie.
Les chercheurs exigent que ces développements soient testés en circuits fermés ( bac à sable ) avant d'être proposés, qu'ils soient constamment surveillés et évalués, que la diversité des dommages qu'ils peuvent causer dans différents domaines soit analysée et que des formules soient proposées pour les atténuer.
Shannon Vallor, philosophe spécialisée dans l'éthique des sciences et l'intelligence artificielle , met en garde contre le danger que les nouveaux systèmes favorisent des relations « sans frictions », mais aussi sans valeurs : « Ils n'ont pas la vie mentale et morale que les humains ont derrière nos paroles et nos vies. actes."
Ce type de relation prétendument idéale, selon ces experts, décourage le besoin de se remettre en question et d'avancer dans le développement personnel tout en favorisant le renoncement à l'interaction réelle et en générant une dépendance à l'égard de machines prêtes à flatter et à rechercher une satisfaction à court terme.
24 OCT 2024 - Diario El Pais