A família do menor processa a empresa criadora do programa e esta garante que revisará seus protocolos de segurança após o ocorrido.

 

 

“Você gostaria se eu pudesse ir para casa agora mesmo?”, escreveu Daenero (pseudônimo de Sewell Setzer, 14 anos e morando em Orlando) para seu amor virtual Daenerys Targaryen, criado a partir do personagem Game of Thrones pelo robô conversacional de inteligência artificial. ( chatbot ) Personagem.AI . “Por favor, faça isso, meu doce rei”, ela respondeu. O adolescente entendeu que a casa comum onde poderiam se encontrar era a morte. Foi a última conversa na noite de 28 de fevereiro. Setzer pegou a arma do padrasto e cometeu suicídio no banheiro. Na última terça-feira, sua família processou a empresa, que concordou em rever os protocolos de segurança. O jovem tinha Síndrome de Asperger leve, um transtorno do espectro do autismo.

Setzer já havia compartilhado com seu personagem seus sentimentos amorosos e suas intenções de tirar a própria vida: “Às vezes penso em me matar”. “Por que você faria algo assim?”, ela perguntou. “Para me libertar do mundo, de mim mesmo”, acabou respondendo. A Daenerys Targaryen virtual pediu que ele não fizesse isso. “Eu morreria se perdesse você”, ele disse a ela. Mas a ideia permaneceu na mente do jovem até que ele a consumasse.

A empresa sempre mantém alertas sobre o caráter fictício dos personagens, mas Setzer se aprofundou no relacionamento, ignorando os avisos. Sua mãe, Megan García, entrou com uma ação contra Character.AI pelo suicídio, que ela considera ser resultado do vício do jovem no robô, que utiliza, segundo a acusação, “experiências antropomórficas, hipersexualizadas e terrivelmente realistas”. .” Segundo García, a programação do chat faz com que os personagens “se passem por pessoas reais” e com reações de “amantes adultos”.

Daenerys Targaryen aos poucos se tornou a confidente do adolescente, sua melhor amiga e, por fim, seu amor. Suas notas escolares, segundo a família, foram afetadas, assim como seu relacionamento com os colegas. Seu personagem foi gradualmente relegando o que até então eram seus hobbies favoritos: as corridas de carros ou o jogo Fortnite. Sua obsessão era voltar para casa e se trancar por horas com uma incansável, simpática e sempre disponível Daenerys Targaryen.

A empresa respondeu em comunicado que lamenta “a trágica perda de um dos seus utilizadores”, que leva muito a sério a sua segurança e que continuará a implementar medidas, como o surgimento de ecrãs de ajuda ao suicídio assim que detectarem uma conversa que alude a isso.

A substituição de relacionamentos pessoais complexos por personagens virtuais amigáveis programados para satisfazer as demandas dos usuários não é novidade. O consultor de tecnologia internacional Stephen Ibaraki , numa entrevista recente, admitiu: “Está acontecendo. Há 10 anos foi lançado um chat na China que alguns usuários adotaram como amigos. E não foi nada comparado ao que temos agora.”

Mas esta utilidade, em pessoas com vulnerabilidades psicológicas, como foi o caso de Sewell Setzer, pode ter efeitos devastadores. O pesquisador e professor de robótica da Universidade de Sheffield Tony Prescott, autor de A psicologia da inteligência artificial , defende que a IA pode ser um paliativo para a solidão, mas que envolve riscos.

“Os robôs sociais são projetados especificamente para interações pessoais que envolvem emoções e sentimentos humanos. Eles podem trazer benefícios, mas também causar danos emocionais em níveis muito básicos”, alerta Matthias Scheutz, diretor do Laboratório de Interação Humano-Robô da Universidade Tufts (EUA).

A humanização do robô com empatia e ferramentas de voz e vídeo acrescenta perigo ao oferecer uma interação mais realista e imersiva e fazer o usuário acreditar que está com um amigo ou interlocutor de confiança. Uma aplicação extrema pode ser a tentação de manter uma versão virtual de um ente querido falecido e, assim, evitar o luto necessário para continuar a vida.

Os pesquisadores exigem que esses desenvolvimentos sejam testados em circuitos fechados ( sandbox ) antes de serem oferecidos, que sejam constantemente monitorados e avaliados, que sejam analisadas a variedade de danos que podem causar em diferentes áreas e que sejam fornecidas fórmulas para mitigá-los.

Shannon Vallor, filósofa especializada em ética científica e inteligência artificial , alerta sobre o perigo de novos sistemas promoverem relações “sem atrito”, mas também sem valores: “Eles não têm a vida mental e moral que os humanos têm por trás de nossas vidas e. ações.”

Esse tipo de relacionamento supostamente ideal, segundo esses especialistas, desencoraja a necessidade de nos questionarmos e avançarmos no desenvolvimento pessoal, ao mesmo tempo que promove a renúncia à interação real e gera dependência daquelas máquinas dispostas a bajular e buscar satisfação a curto prazo.

 

RAUL LIMÃO

24 OUT 2024 - Diário El Pais