Pourquoi d'anciens employés d'OpenAI mettent en garde contre le danger de l'intelligence artificielle malgré le risque de perdre leurs mil

 

Les travailleurs de l'entreprise qui a créé ChatGPT dénoncent dans une lettre qu'ils sont obligés de signer des contrats dans lesquels ils ne peuvent pas critiquer l'entreprise après leur départ s'ils ne veulent pas perdre leur argent

 

Un groupe d'anciens employés et de travailleurs anonymes d'OpenAI a publié une lettre pour avertir de la manière dont l'entreprise donne la priorité aux incitations commerciales plutôt qu'aux dangers liés au développement de systèmes d'IA de plus en plus avancés. Les signataires regrettent la culture interne du secret et la façon dont l'entreprise les oblige à signer des contrats dans lesquels ils ne peuvent pas critiquer OpenAI après leur départ s'ils ne veulent pas perdre leur argent.

Dans la lettre, signée par cinq anciens salariés et six travailleurs « anonymes » d'OpenAI, ils demandent à l'entreprise de retirer ces contrats et d'ouvrir des voies de plainte internes en cas d'avancées dangereuses. "Ma femme et moi y avons beaucoup réfléchi et avons décidé que ma liberté de m'exprimer à l'avenir était plus importante que les actions [de OpenAI] ", a écrit Daniel Kokotajlo, qui a quitté son poste au sein du département en avril, sur X [antes Twitter] de la gouvernance d'OpenAI, et qui a déclaré au New York Times que la valeur de ses actions était d'environ 1,6 million d'euros.

 

« Le monde n’est pas préparé et nous ne le sommes pas », a écrit Kokotajlo dans son courriel d’adieu. « Et je suis préoccupé par le fait que nous nous sommes précipités sans aucune inquiétude et sans rationaliser nos actions », a-t-il ajouté. Un autre signataire, William Saunders, a déclaré au magazine Time que son argent était en danger en s'exprimant publiquement : « En vous parlant, je pourrais perdre l'opportunité d'accéder à des actions valant des millions de dollars. Mais je pense qu'il est plus important d'avoir un dialogue public sur ce qui se passe dans ces entreprises d'IA.

Cette lettre n’est pas la première à évoquer les dangers de l’IA dans sa course effrénée vers « l’intelligence générale artificielle » (AGI), argot industriel désignant le moment où les machines acquièrent la capacité de penser et de décider comme un humain. En mars 2023 , des milliers d’experts ont demandé de suspendre leurs progrès ; en mai de l’année dernière , 350 autres ont signé un manifeste de 22 mots demandant « d’atténuer le risque d’extinction ». Entre-temps, Sam Altman lui-même, co-fondateur d’OpenAI, s’est rendu au Congrès pour dire que « tout peut aller très mal » et Geoffrey Hinton, l’un des parrains de l’IA, a laissé Google avertir librement de l’avenir menaçant.

Hinton soutient également cette nouvelle lettre des employés d'OpenAI, aux côtés de Yoshua Bengio, un autre des lauréats du prix Turing, le « Nobel de l'informatique » pour ses réalisations en matière d'IA. Les autres signataires de la lettre, intitulée « Droit d’avertir sur l’IA avancée », sont un ancien employé et un employé actuel de Google Deep Mind.

Droit d’avertir de l’intérieur

Cette nouvelle carte est légèrement différente. Le principal reproche n’est plus le danger hypothétique de l’IA généralisée, mais plutôt l’avancée incontrôlée et incontrôlée des entreprises en privilégiant la course commerciale sur la sécurité. Contrairement à ce qui s'est passé chez Meta et dans d'autres entreprises, les anciens employés d'OpenAI craignent que les protections telles que d'éventuelles « gorges profondes » soient insuffisantes car ils ne signalent rien d'« illégal », puisque les risques « qui nous concernent n'ont pas encore été réglementés ». , écrivent-ils dans la lettre.

Ce mouvement ne se produit pas dans le vide. À la mi-mai, Ilya Sutskever, co-fondateur d'OpenAI et l'un des instigateurs de la révolte de novembre contre Sam Altman, a quitté l'entreprise, accompagné de Jan Leike, qui a écrit dans X qu'OpenAI « assume une énorme responsabilité en faveur de l'entreprise ». de l’humanité entière » et qui donne la priorité à la création de « produits accrocheurs ». La même semaine, OpenAI avait annoncé le nouveau ChatGPT-4o, capable de discuter en temps réel et qui a suscité la polémique auprès de l'actrice Scarlett Johansson. Un ancien membre du conseil d’administration a également révélé comment Altman leur avait caché des informations aussi fondamentales que le lancement de ChatGPT en novembre 2022.

 

Toute cette controverse continue de surgir à propos de futurs supposés dont personne ne sait si ni comment ils se produiront. Les craintes se concentrent sur l’apparition de machines incontrôlées qui prennent le contrôle et cessent de suivre les ordres humains. La tâche consistant à garantir que les machines ne deviennent pas autonomes est appelée « alignement », qui vient de « l’alignement » de leurs intérêts sur ceux des humains. Il s'agit d'un travail technique lié à la sécurité de ces systèmes et dont l'équipe chez OpenAI a été dissoute.

Cette semaine, les détails du départ d'un des membres de cette équipe, le jeune homme d'origine allemande Leopold Aschenbrenner, diplômé à l'âge de 19 ans avec la meilleure note de l'Université de Columbia, selon son LinkedIn, ont été connus. Aschenbrenner a confirmé dans un podcast de près de 5 heures qu’il avait été licencié en raison d’une « fuite » : « J’ai écrit un document de réflexion sur les préparatifs, la sécurité et les garanties nécessaires sur la voie de l’intégration de l’IA. Je l'ai partagé avec trois chercheurs externes. C'était la fuite », a expliqué Aschenbrenner. À une autre occasion, il a partagé un autre document avec deux membres du conseil précédent. Dans ce cas, il a reçu un avertissement des ressources humaines.

 

Cette semaine également, Aschenbrunner a publié un document PDF de 165 pages contenant cinq essais dans lesquels il analyse la « prochaine décennie » et explique pourquoi tout est plus dangereux que ce que l’on croit de l’extérieur. Son message est devenu viral et a déclenché une nouvelle vague de spéculations sur le danger hypothétique des futures versions de l’IA. Suite à son départ d'OpenAI, il dirigera un fonds d'investissement axé sur des projets généraux d'IA.

JORDI PEREZ COLOMÉ 07 JUIN 2024

Publié dans le journal El Pais d'Espagne