Gemma Galdón, auditrice d'algorithmes : « L'intelligence artificielle est de très mauvaise qualité »
Le fondateur d’Ethics conseille aux organisations internationales d’éviter toute discrimination. Méfiez-vous des attentes du secteur :
« Proposer qu’un système de données va faire un saut dans la conscience est une hallucination »
L’intelligence artificielle n’est pas réservée aux ingénieurs. Il peut être littéraire et, en même temps, une référence dans le débat mondial sur les répercussions sociales et éthiques de ce que font ces systèmes. Gemma Galdón (Mataró, Barcelone, 47 ans) est diplômée en histoire contemporaine et titulaire d'un doctorat en politiques publiques technologiques ; Elle est la fondatrice et la première dirigeante d'Éticas Research and Consulting, une entreprise qui examine les algorithmes pour garantir leur utilisation responsable. "Être conscient de la manière dont la société a résolu d'anciens problèmes me donne une perspective utile pour travailler sur de nouveaux problèmes", dit-il dans un café de Madrid. « Il y a 12 ans, lorsque j’ai obtenu mon doctorat, très peu de personnes en sciences sociales travaillaient avec la technologie. » Son entreprise conseille des organisations européennes et américaines. Ses valises sont faites : il retourne immédiatement à New York, où il vit et où il a reçu jeudi l'un des Hispanic Star Awards, prix récompensant les agents de changement de la communauté hispanophone, lors d'un événement aux Nations Unies. Il a dû déménager, dit-il, car aux États-Unis, « le marché est plus réceptif à l’IA responsable ».
Demander. Qu’est-ce que ça fait d’auditer des algorithmes ?
Répondre. Eh bien, il s’agit d’inspecter les systèmes d’intelligence artificielle pour voir comment ils fonctionnent, mais avant tout de s’assurer que leurs impacts sur la société sont équitables, qu’il n’y a pas de discrimination. Et, en outre, que les systèmes font ce qu’ils prétendent faire.
Q. Et quels problèmes rencontrez-vous ?
R. Au début, ces systèmes sont aussi discriminatoires que la société, mais après très peu de temps, ils sont beaucoup plus discriminatoires que la société. Parce que ce que fait l’IA, c’est prendre beaucoup de données d’entraînement et rechercher un modèle. Et le patron est toujours l’homme blanc avec un emploi stable ; Dans le cas des banques, ce sera le client idéal. Tout profil minoritaire ou anecdotique est éliminé de l’échantillon. Ainsi, une femme a beaucoup moins de chances de recevoir un diagnostic d’endométriose grâce à l’IA, car historiquement, nous n’avons pas diagnostiqué d’endométriose.
Q. Certains disent que l’IA ne peut pas être examinée en profondeur parce que même ses créateurs ne comprennent pas pleinement son fonctionnement, mais plutôt qu’elle apprend d’elle-même.
R. Faux. Cette idée de boîte noire est un mythe, du pur marketing . Je pense qu'il y a une certaine volonté de la part du secteur de l'IA d'y voir quelque chose de magique, de croire que c'est quelque chose que nous ne pouvons pas comprendre et de nous priver de notre capacité d'intervention. Ce que nous avons vu, c'est que nous pouvons auditer lorsqu'un client nous embauche et nous apprend pratiquement tout, mais aussi de l'extérieur, nous pouvons faire de l'ingénierie inverse et voir comment un système fonctionne en fonction de ses impacts.
Q. Vous avez conseillé aux institutions politiques de réglementer l’IA. Que veulent-ils?
R. Ce qui s'est passé ces dernières années, c'est que le législateur, avec de très bonnes intentions, a généré une réglementation très abstraite, très basée sur des principes, et l'industrie s'est plainte de ne pas avoir de pratiques concrètes. Nous avons une industrie née à la merci de la Silicon Valley, habituée à cette idée « d’avancer vite et de casser les choses », sans se rendre compte que ce qu’elle pourrait enfreindre, ce sont des droits ou des lois fondamentaux. Il y a parfois une certaine obsession à demander le code ou les modèles fondateurs. Ils ne m'ont jamais été utiles. Nous demandons un niveau de transparence qui n'est pas utile pour auditer, pour contrôler les impacts. Si vous savez qu’il existe un moment d’inspection au cours duquel nous évaluons certaines mesures, vous devez commencer à apporter des changements. Avec lequel nous modifions les incitations de l’industrie technologique afin qu’elles prennent en compte l’impact et les biais de tout type de dysfonctionnement.
Q. Êtes-vous déçu ou satisfait de la loi sur l’IA sur laquelle l’Union européenne s’est mise d’accord ?
R. Cela me semble être un pas de géant en matière de régulation : c'est la première loi sur ces questions en Occident. Ce qui me déçoit, c'est le rôle de l'Europe pour aller plus loin, dans la création d'un marché lié à l'IA responsable. Les États-Unis, l’Asie et la Chine se ressaisissent.
L’intelligence artificielle générale est aussi proche que lorsque Platon parlait des possibilités d’autres types de mondes
Q. Tout ce qui est présenté est-il une telle intelligence artificielle ?
R. Nous sommes entourés d’une intelligence artificielle de très mauvaise qualité. Ce n’est plus une question de préjugé, c’est qu’il ne fait pas ce qu’il prétend faire et prend des décisions que les humains ne prendraient jamais. Un exemple est le système mis en place pour évaluer les performances des enseignants dans le système éducatif de plusieurs États des États-Unis. Certains travailleurs qui ont vu comment leurs performances ont changé lors de l'évaluation manuelle et algorithmique l'ont porté devant les tribunaux. Le tribunal a ordonné un audit et on constate que les seuls éléments pris en compte pour décider si vous êtes un bon enseignant sont les résultats de vos élèves en mathématiques et en langue. C'est un Excel glorifié. Si les directeurs de ces écoles s’étaient vu proposer ce tableur sous forme de feuille de calcul enregistrant les résultats en mathématiques et en langues, ils ne l’auraient jamais vendu.
Q. L’IA responsable prévaudra-t-elle ?
R. Je suis optimiste. Lorsque nous auditons, nous trouvons des systèmes biaisés qui fonctionnent également mal. L’intelligence artificielle est de très mauvaise qualité et à un moment donné, l’industrie devra faire mieux. Ces systèmes sont nés d’ outils de divertissement comme Netflix, qui peuvent avoir une marge d’erreur élevée. Si le film recommandé par Netflix n’est pas celui que vous souhaitez regarder les uns après les autres, rien ne se passe. Mais si l’IA veut travailler dans le domaine médical en recommandant un traitement ; ou dans la sélection du personnel, en décidant qui nous embauchons ou qui nous licencions ; ou dans l'allocation des ressources publiques... il faut que cela fonctionne bien. À l’heure actuelle, l’IA que nous acceptons est non seulement biaisée, mais elle ne fonctionne pas non plus bien. La bonne nouvelle est que les deux problèmes sont résolus en même temps. Lorsque le problème des biais est résolu, les autres inefficacités sont également abordées.
Q. Le départ et la réintégration de Sam Altman en tant que PDG d'OpenAI ont été liés à une prétendue avancée sensationnelle vers l'intelligence générale artificielle (AGI), ou superintelligence, quelque chose qui menace l'humanité. Le crois-tu?
A. L’intelligence artificielle générale est aussi proche que lorsque Platon parlait des possibilités d’autres types de mondes et de vies. L'humanité a toujours rêvé de reproduire automatiquement la conscience humaine. Nous avons pu rêver d’avenirs de science-fiction. Il y a actuellement un débat sur l’IAG qui n’a rien à voir avec les capacités technologiques.
Q. Les machines ne vont-elles pas surpasser les humains ?
A. La façon dont nous, les humains, pensons, la créativité, la nouveauté, n’a rien à voir avec l’IA. Un exercice très simple : si nous donnons à un système toute l'œuvre de Picasso avant 1937 et lui demandons : quel sera le prochain tableau de Picasso ?, il obtiendra n'importe quoi. Et en 1937 il peint Guernica . Les gens évoluent dans notre façon de s'exprimer, d'aimer, de travailler, d'écrire, de créer. Proposer qu’à un moment donné un système de données statistiques et mathématiques fera un saut dans la conscience est une hallucination.
Q. Ce que fait ChatGPT lorsqu'il invente des réponses à des questions est également appelé hallucination. Ce n'est pas fiable, non ?
R. C'est le cas d'un avocat qui défend les victimes de pédophilie et ChatGPT fait une biographie d'un pédophile. Parce que? Parce que son nom apparaît avec ces mots la plupart du temps ou plus de fois avec ces mots qu'avec un autre, auquel il vous associe ce mot et c'est tout.
À un moment donné, il faudra envisager de retirer de la circulation les technologies polluantes, comme les cryptomonnaies.
Q. Vous étudiez l’impact social de l’IA. Et qu’en est-il de l’impact écologique ? Parce que les centres de données sont devenus de gros gaspilleurs d’eau et d’énergie.
R. Cela n'a aucun sens qu'à l'heure actuelle, lorsqu'ils effectuent un audit environnemental dans votre entreprise, ils viennent voir quel type d'ampoules vous avez et ne regardent pas où se trouvent les serveurs et jusqu'où les informations se trouvent. voyager. Il n’y a aucune volonté de quantifier l’impact environnemental des traitements de données et d’inciter l’industrie à disposer de serveurs à proximité du lieu où les informations sont fournies. C'est un débat que nous n'avons pas encore eu. À l’ère du changement climatique, il est insensé que presque tout le monde parle de la technologie comme d’une solution et non comme d’un problème.
Q. Donc, nous ne parlons même pas de crypto-monnaies . Avec ce qu'ils dépensent.
R. Tout comme nous retirons les voitures polluantes de la rue, nous devons à un moment donné envisager de retirer les technologies polluantes de la circulation. Nous devons encore commencer à interdire les architectures blockchain lorsque la valeur sociale n’est pas perçue. Ce que proposent les cryptomonnaies, c'est un outil de spéculation, un mécanisme d'investissement qui s'apparente davantage à un système pyramidal... Si on sauvait des vies je dirais : écoutez, c'est quand même justifié
Il est directeur adjoint d'EL PAÍS. Il a été directeur de « Cinco Días » et de « Tribuna de Salamanca ». Diplômé en Sciences de l'Information, il exerce le journalisme depuis 1988. Il a travaillé pour « Ya » et « Diario 16 ». À EL PAÍS, il a été rédacteur en chef de Sociedad, de « Babelia » et de la table numérique, ainsi que chroniqueur. Auteur de « La Grande Fragmentation » (Harpa).