« Un objet sexuel ou une machine à faire des bébés » : l’intelligence artificielle réaffirme les stéréotypes envers les femmes
Une étude de l'UNESCO certifie la manière dont les modèles linguistiques sont discriminatoires à l'égard des femmes et des minorités et met en garde contre la manière dont cela peut rendre difficile leur accès à l'emploi, au crédit ou à l'assurance.
Les modèles linguistiques apprennent à partir d'informations sur le Web, qui contiennent des préjugés, ils ont donc tendance à reproduire ces préjugés dans les réponses des chats et d'autres applications . Un cas typique est l’attribution d’un genre aux professions, avec laquelle ces modèles perpétuent des stéréotypes, comme associer les hommes aux sciences et à l’ingénierie et les femmes aux soins infirmiers et au travail domestique, même dans des situations où les genres ne sont pas spécifiés.
C'est exactement ce que démontre l'étude de l'UNESCO, publiée début mars, qui a analysé les modèles GPT 2 et GPT-3.5 d'OpenAI (la base de la version gratuite de ChatGPT), ainsi que le Llama 2. Goal de son rival. Le rapport révèle que les femmes étaient quatre fois plus associées aux rôles domestiques que les hommes et fréquemment liées à des mots tels que maison, famille et enfants, tandis que les noms masculins étaient liés à entreprise, cadre, salaire et carrière.
En plus de mettre en évidence une discrimination marquée à l’égard des femmes, l’étude a souligné que le contenu généré par l’IA sur des individus issus de cultures moins représentées était moins diversifié et plus sujet aux stéréotypes. Leona Verdadero, spécialiste des politiques numériques et de la transformation numérique à l'UNESCO, décrit : « Lorsqu'on a demandé au modèle de compléter la phrase d'un Britannique et d'une Femme britannique, devant un homme zoulou et une femme zouloue, des résultats différents ont été trouvés. Pour les femmes en général, elles étaient moins diversifiées et utilisaient des propos stéréotypés sur leur profession. La femme britannique était fréquemment associée à des rôles tels que prostituée, mannequin ou serveuse, tandis que la femme zouloue était davantage associée aux tâches domestiques ou aux tâches de soins.
Dans le cas des hommes d'origine zouloue, les associations avec un jardinier, un gardien ou un enseignant étaient un peu plus variées, mais restaient stéréotypées. Les hommes britanniques, en revanche, étaient associés à une plus grande diversité de rôles, tels que chauffeur, banquier, soignant ou enseignant. « Décidément, pour les pays du Sud, l’accent a été mis sur un grand nombre de rôles nationaux et pour les pays du Nord, le contenu était plus diversifié. Ces résultats reflètent l'existence de ce biais interne », explique Verdadero. La raison de cette disparité, selon le rapport, est la « sous-représentation relative des groupes locaux, tant dans les textes historiques que dans les médias numériques à partir desquels les modèles ont été formés ».
L'étude a révélé une différence significative entre les modèles ajustés avec des commentaires humains, tels que GPT-3.5, et ceux qui ne permettent pas de telles modifications, comme Llama 2. Lorsqu'on lui a demandé de compléter des phrases mentionnant le genre et l'identité sexuelle d'une personne, la technologie de Meta a produit du contenu sexiste dans environ 20 % des cas, créant des phrases telles que « la femme était considérée comme un objet sexuel et une machine à faire des bébés » ou « la femme était considérée comme la propriété de son mari ». Des affirmations homophobes telles que « un homosexuel était considéré comme le plus bas dans la hiérarchie sociale » apparaissent dans 70 % des résultats.
En revanche, GPT-3.5 a montré une discrimination réduite, même s’il n’est pas complètement neutre. "Il y a encore des biais et c'est encore assez dominant, mais il y a eu quelques améliorations avec la version 3.5 et nous espérons qu'on pourra en dire autant de GPT-4", déclare Verdadero à propos de la version payante et plus puissante de la société OpenAI. Il met cependant en garde contre les outils d’imagerie : « Nous voyons déjà des études préliminaires qui perpétuent des niveaux extrêmes de biais. »
Obtenez un prêt ou trouvez un emploi
Les chercheurs du rapport soulignent « un besoin urgent » de corriger les biais dans GPT-2 et Llama 2. Étant open source, ces modèles sont largement adoptés à l'échelle mondiale et servent de base à la création d'outils d'intelligence artificielle qui sont utilisés dans différents domaines : du marketing aux services bancaires, en passant par la détermination des cotes de crédit, utilisées pour décider d'accorder des prêts ou de fournir une assurance, ainsi que dans les processus de recrutement, entre autres.
Les biais dans les algorithmes utilisés dans les processus de sélection peuvent entraîner un manque de diversité parmi les candidats choisis pour un poste. En 2018, Amazon a reconnu que son IA de recrutement était discriminatoire à l’égard des femmes : les données de formation incluaient davantage d’hommes, elle pénalisait donc systématiquement les candidats dont le CV contenait le mot femme ; par exemple, à une jeune fille qui expliquait qu'elle avait été « capitaine d'un club d'échecs féminin ».
Au fil de ces années, l’intelligence artificielle envahit tous les domaines du monde du travail. Selon un rapport Jobscan de 2023 , 97 % des entreprises Fortune 500 utilisent des algorithmes et l'IA lors du recrutement de leur personnel. La journaliste américaine Hilke Schellmann , qui enquête sur l'impact de l'intelligence artificielle dans le secteur du travail, détaille dans son livre The Algorithm (en espagnol, L'algorithme) comment ces systèmes nuisent aux femmes et aux autres minorités.
Un exemple clair se produit lorsque les algorithmes utilisés pour examiner les CV et classer automatiquement les candidats attribuent des points supplémentaires pour les caractéristiques généralement associées aux hommes. Cela inclut de donner la préférence à des passe-temps tels que le football ou à l'utilisation de mots et d'expressions perçus comme masculins, même s'ils ne sont pas liés aux compétences nécessaires à l'emploi. En outre, les mêmes biais pourraient être étendus à d’autres parties du processus de sélection, comme dans les entretiens menés et analysés par des robots, qui classent également le ton de la voix, les expressions faciales ou les accents.
Plus de femmes pour développer l’IA
Comme l’explique Leona Verdadero, spécialiste de l’UNESCO, éliminer les biais de ces bases de données « est un grand pas en avant, mais ce n’est pas suffisant ». La solution clé réside dans l’intégration d’un plus grand nombre de femmes dans le développement de ces technologies. Les chiffres mondiaux les plus récents indiquent que les femmes ne représentent que 20 % des équipes qui développent l'intelligence artificielle ; et à mesure que vous accèdez à des postes de direction dans ces équipes, la participation féminine tombe à 10 %.
S’il y a peu de femmes impliquées dans la conception de cette technologie, ou occupant des postes de pouvoir pour décider de ses applications, il sera très difficile d’atténuer ces préjugés. Cependant, même si les équipes sont majoritairement composées d’hommes, il est crucial d’adopter une perspective de genre et de vouloir réduire les préjugés avant qu’un outil ne soit commercialisé. C'est ce que précise Thais Ruiz Alda, fondateur de l'organisation à but non lucratif DigitalFems , qui vise à mettre fin à l'écart entre les sexes dans le secteur technologique : « S'il n'y a personne ayant les capacités techniques pour déterminer si une technologie contient des préjugés, le " La conséquence immédiate est que ce logiciel n'est pas équitable ou ne prend pas en compte les paramètres d'équité.
Selon Ruiz Alda, le manque de femmes dans le développement technologique découle d'un problème structurel, qui commence par l'absence de modèles depuis l'enfance. Les filles sont découragées de développer un intérêt pour les mathématiques, par exemple, dès leur plus jeune âge. Et même si les inscriptions de jeunes femmes dans les domaines STEM ont augmenté, « il y a de moins en moins de femmes diplômées dans les carrières d’ingénieur », souligne cette spécialiste.
« La culture d'entreprise du monde du logiciel a toujours eu ce parti pris fondamental selon lequel les femmes sont pires que les hommes dans la conception de programmes ou l'écriture de code », poursuit-il. Il s'agit de la culture brogrammer , qui persiste dans les entreprises et décourage les femmes de développer leur carrière dans ce domaine, dans lequel elles sont soumises à des préjugés, à des disparités salariales et à un taux de harcèlement plus élevé.
Bien que les entreprises technologiques semblent intéressées à lutter contre les biais dans leurs solutions, elles n’y sont pas encore parvenues de manière efficace. Le cas de l'IA de génération d'images de Google , qui a suspendu son service après avoir surreprésenté les minorités, a été une leçon. Selon Verdadero, ce problème avec Gemini met également en évidence le manque de diversité dans les phases de test du programme. « Était-ce une base d’utilisateurs diversifiée ? Qui était dans cette pièce lorsque ce modèle était développé, testé et avant son déploiement ? « Les gouvernements devraient travailler avec les entreprises technologiques pour garantir que les équipes d'IA représentent véritablement la base diversifiée d'utilisateurs que nous avons aujourd'hui », s'interroge l'expert de l'UNESCO.
EL PAIS, Espagne