Gemma Galdón, auditora de algoritmos: “A inteligência artificial é de muito má qualidade”
O fundador da Ética aconselha as organizações internacionais a evitar a discriminação. Desconfie das expectativas do setor:
“Propor que um sistema de dados dará um salto para a consciência é uma alucinação”
A inteligência artificial não é apenas para engenheiros. Pode ser literário e, ao mesmo tempo, uma referência no debate global sobre as repercussões sociais e éticas do que estes sistemas fazem. Gemma Galdón (Mataró, Barcelona, 47 anos) formou-se em História Contemporânea e doutorou-se em políticas públicas tecnológicas; É fundadora e primeira executiva da Éticas Pesquisa e Consultoria, empresa que examina algoritmos para garantir seu uso responsável. “Estar ciente de como a sociedade resolveu problemas antigos dá-me uma perspectiva útil para trabalhar com novos problemas”, diz ele num café em Madrid. “Há 12 anos, quando fiz meu doutorado, havia muito poucas pessoas nas ciências sociais que trabalhavam com tecnologia.” A sua empresa presta consultoria a organizações europeias e americanas. Está com a mala feita: regressa imediatamente a Nova Iorque, onde vive e onde recebeu na quinta-feira um dos Hispanic Star Awards, prémios para agentes de mudança na comunidade de língua espanhola, num evento nas Nações Unidas. Ele teve que mudar, diz ele, porque nos EUA “o mercado é mais receptivo à IA responsável”.
Perguntar. Como é auditar algoritmos?
Responder. Pois bem, é inspecionar os sistemas de inteligência artificial para ver como funcionam, mas antes de mais nada para garantir que os seus impactos na sociedade são justos, que não há discriminação. E, além disso, que os sistemas fazem o que dizem que fazem.
P. E que problemas você encontra?
R. No início, estes sistemas são tão discriminatórios como a sociedade, mas depois de muito pouco tempo tornam-se muito mais discriminatórios do que a sociedade. Porque o que a IA faz é pegar muitos dados de treinamento e procurar um padrão. E o chefe é sempre o homem branco com emprego estável; No caso dos bancos, será o cliente ideal. Qualquer perfil minoritário ou anedótico é eliminado da amostra. Então uma mulher tem muito menos chance de ser diagnosticada com endometriose através da IA, porque historicamente não diagnosticamos endometriose.
P. Há quem diga que a IA não pode ser examinada minuciosamente porque nem mesmo os seus criadores compreendem totalmente como funciona, mas sim porque aprende por si só.
R. Falso. Essa ideia da caixa preta é um mito, puro marketing . Acho que há uma certa vontade por parte do setor da IA de ver isso como algo mágico, de acreditar que é algo que não conseguimos compreender e de nos tirar a capacidade de intervir. O que vimos é que podemos auditar quando um cliente nos contrata e nos ensina praticamente tudo, mas também de fora podemos fazer engenharia reversa e ver como funciona um sistema com base em seus impactos.
P. Você aconselhou as instituições políticas a regulamentar a IA. O que eles querem?
R. O que aconteceu nos últimos anos é que o legislador, com muito boas intenções, gerou uma regulação muito abstrata, muito baseada em princípios, e a indústria reclamou de não ter práticas concretas. Temos uma indústria que nasceu à mercê do Vale do Silício, acostumada com aquela ideia de “agir rápido e quebrar as coisas”, sem ter consciência de que o que poderia quebrar são direitos fundamentais ou leis. Às vezes há uma certa obsessão em pedir o código ou os modelos fundamentais. Eles nunca foram úteis para mim. Pedimos um nível de transparência que não é útil para a auditoria, para a fiscalização dos impactos. Se você sabe que existe um momento de fiscalização em que avaliamos determinadas métricas, é preciso começar a fazer mudanças. Com o qual mudamos os incentivos da indústria tecnológica para que levem em conta o impacto e o preconceito, qualquer tipo de disfunção.
P. Você está desapontado ou satisfeito com a lei de IA acordada pela União Europeia?
R. Parece-me ser um passo gigante na regulamentação: é a primeira lei sobre estas questões no Ocidente. O que me decepciona é o papel da Europa em ir mais longe, na criação de um mercado ligado à IA responsável. Tanto os Estados Unidos como a Ásia e a China estão a agir em conjunto.
A Inteligência Artificial Geral está tão próxima quanto quando Platão falou sobre as possibilidades de outros tipos de mundos
P. Tudo o que é apresentado como tal é inteligência artificial?
R. Estamos cercados por inteligência artificial de péssima qualidade. Já não é uma questão de preconceito, é que não faz o que diz que faz e toma decisões que os humanos nunca tomariam. Um exemplo é o sistema que foi implementado para avaliar o desempenho dos professores no sistema educacional de vários estados dos Estados Unidos. Alguns trabalhadores que viram como seu desempenho mudou na avaliação manual e algorítmica levaram isso a tribunal. O tribunal ordenou uma auditoria e observou-se que os únicos factores que são tidos em conta para decidir se você é um bom professor são os resultados dos seus alunos em matemática e línguas. É um Excel glorificado. Se os diretores dessas escolas tivessem oferecido esta planilha como uma planilha que registra os resultados em matemática e linguagem, eles nunca a teriam vendido.
P. A IA responsável prevalecerá?
R. Estou otimista. Quando auditamos, encontramos sistemas tendenciosos que também apresentam desempenho insatisfatório. A inteligência artificial é de muito baixa qualidade e em algum momento a indústria terá que fazer melhor. Esses sistemas nasceram a partir de ferramentas de entretenimento como o Netflix, que podem ter uma grande margem de erro. Se o filme recomendado pela Netflix não for aquele que você deseja assistir atrás do outro, nada acontece. Mas se a IA quiser atuar na área médica recomendando um tratamento; ou na seleção de pessoal, decidindo quem contratamos ou demitimos; ou na alocação de recursos públicos... tem que funcionar bem. No momento, a IA que aceitamos não é apenas tendenciosa, mas também não funciona bem. O bom é que os dois problemas são resolvidos ao mesmo tempo. Quando o problema do preconceito é abordado, as outras ineficiências também são abordadas.
P. A saída e reintegração de Sam Altman como CEO da OpenAI tem sido associada a um alegado avanço sensacional em direção à Inteligência Geral Artificial (AGI), ou superinteligência, algo que ameaça a humanidade. Voce acredita nisso?
R. A Inteligência Artificial Geral está tão próxima como quando Platão falou sobre as possibilidades de outros tipos de mundos e vidas. A humanidade sempre sonhou em reproduzir automaticamente a consciência humana. Fomos capazes de sonhar futuros de ficção científica. Há um debate sobre o IAG que nada tem a ver com capacidades tecnológicas neste momento.
P. As máquinas não vão superar os humanos?
R. A maneira como nós, humanos, pensamos, a criatividade, o novo, não tem nada a ver com IA. Um exercício muito simples: se dermos um sistema para toda a obra de Picasso antes de 1937 e perguntarmos: qual será a próxima pintura de Picasso?, obteremos qualquer coisa. E em 1937 pintou Guernica . As pessoas evoluem na nossa forma de nos expressar, de amar, de trabalhar, de escrever, de criar. Propor que em algum momento um sistema de dados estatísticos e matemáticos dará um salto para a consciência é uma alucinação.
P. O que o ChatGPT faz quando inventa respostas para perguntas também é chamado de alucinação. Não é confiável, certo?
R. É o caso de um advogado que trabalha defendendo vítimas de pedofilia e o ChatGPT faz a biografia de um pedófilo. Porque? Porque o nome dele aparece com essas palavras na maioria das vezes ou mais vezes com essas palavras do que com outra, com a qual ele associa essa palavra a você e pronto.
Em algum momento, teremos que considerar a remoção de tecnologias poluentes de circulação, como as criptomoedas.
P. Você estuda o impacto social da IA. E o impacto ecológico? Porque os data centers se tornaram grandes desperdiçadores de água e energia.
R. Não faz sentido que neste momento, quando fazem uma auditoria ambiental na sua empresa, venham ver que tipo de lâmpadas você tem e não olhem onde estão os servidores e até que ponto a informação chegou viajar. Não houve qualquer desejo de quantificar o impacto ambiental dos processos de dados e de encorajar a indústria a ter servidores próximos do local onde a informação é fornecida. É um debate que ainda não tivemos. Na era das alterações climáticas não faz sentido que quase todos falem da tecnologia como a solução e não como um dos problemas.
P. Então, nem falamos sobre criptomoedas . Com o que gastam.
R. Tal como estamos a retirar das ruas os carros poluentes, em algum momento teremos de considerar a remoção de tecnologias poluentes de circulação. Ainda temos que começar a proibir as arquiteturas blockchain quando o valor social não é percebido. O que as criptomoedas proporcionam é uma ferramenta de especulação, um mecanismo de investimento mais parecido com um esquema de pirâmide... Se estivéssemos salvando vidas eu diria: olha, ainda se justifica
É vice-diretor do EL PAÍS. Foi diretor de 'Cinco Días' e 'Tribuna de Salamanca'. Formado em Ciências da Informação, exerce jornalismo desde 1988. Trabalhou no ‘Ya’ e no ‘Diario 16’. No EL PAÍS foi editor-chefe da Sociedad, 'Babelia' e da mesa digital, além de colunista. Autor de 'A Grande Fragmentação' (Harpa).