OpenAI a créé une équipe pour contrôler l’IA « superintelligente »

OpenAI a créé une équipe pour contrôler l’IA « superintelligente » fait l’objet d’un profil par BTW Media, car des preuves publiées le lient à l’infrastructure Internet, à la gouvernance, aux dépendances opérationnelles ou à la visibilité sur le marché.

• L’équipe Superalignment d’OpenAI, chargée de superviser les systèmes d’IA « superintelligents », s’est vu garantir 20 % de la puissance de calcul de l’entreprise. Cependant, elle s’est fréquemment heurtée à des refus lorsqu’elle demandait ne serait-ce qu’une partie de cette allocation, ce qui a entravé ses progrès.
• Parmi diverses préoccupations, plusieurs membres de l’équipe, dont le co-responsable Jan Leike, ont démissionné cette semaine. Leike, un ancien chercheur de DeepMind impliqué dans le développement de ChatGPT, GPT-4 et de son prédécesseur InstructGPT, a cité des problèmes tels que la question de l’allocation comme raisons de son départ.
• Leike a rendu publiques certaines des raisons de sa démission vendredi matin. « Je suis en désaccord avec la direction d’OpenAI concernant les priorités fondamentales de l’entreprise depuis un certain temps, jusqu’à ce que nous atteignions finalement un point de rupture », a écrit Leike dans une série de publications sur X.

Les membres de l’équipe Superalignment,d’OpenAI, chargée de guider les systèmes d’IA avancés, se sont vu promettre d’importantes ressources informatiques mais ont souvent vu leurs demandes refusées, ce qui a entravé leurs progrès. Cela a conduit à plusieurs démissions, y compris celle du co-responsable Jan Leike, qui avait contribué au développement de ChatGPT, GPT-4 et de leur prédécesseur InstructGPT. Leike a cité des désaccords avec la direction d’OpenAI concernant les priorités, soulignant la nécessité de se concentrer sur la préparation des futurs modèles d’IA, la sécurité, la sûreté, l’alignement et l’impact sociétal.

À lire également:Reddit et OpenAI annoncent un partenariat

L’équipe Superalignment

OpenAI a formé l’équipe Superalignment en juillet dernier, dirigée par Leike et le cofondateur d’OpenAI Ilya Sutskever,qui a également démissionné de l’entreprise cette semaine. Elle avait pour objectif ambitieux de résoudre les principaux défis techniques liés au contrôle de l’IA superintelligente au cours des quatre prochaines années. Composée de scientifiques et d’ingénieurs issus de l’ancienne division alignement d’OpenAI ainsi que de chercheurs d’autres organisations de l’entreprise, l’équipe devait contribuer à la recherche sur la sécurité des modèles internes et non-OpenAI, et, par le biais d’initiatives comprenant un programme de subventions de recherche, solliciter et partager des travaux avec l’ensemble du secteur de l’IA.

L’équipe Superalignment a réussi à publier un ensemble de recherches sur la sécurité et à verser des millions de dollars de subventions à des chercheurs externes. Mais, alors que les lancements de produits commençaient à accaparer une part croissante de la bande passante de la direction d’OpenAI, l’équipe Superalignment s’est retrouvée à devoir se battre pour obtenir davantage d’investissements initiaux — des investissements qu’elle jugeait essentiels à la mission déclarée de l’entreprise de développer une IA superintelligente au bénéfice de toute l’humanité.

À lire également:OpenAI pourrait annoncer un nouveau modèle d’IA pour concurrencer directement Google

Les machines plus intelligentes que l’humain sont dangereuses

« Construire des machines plus intelligentes que l’humain est une entreprise intrinsèquement dangereuse », a dit Leike. « Mais ces dernières années, la culture et les processus de sécurité sont passés au second plan derrière les produits tape-à-l’œil. »

Suite aux départs de Leike, John Schulman, un autre cofondateur d’OpenAI, a pris la direction du type de travail que faisait l’équipe Superalignment, mais il n’y aura plus d’équipe dédiée — à la place, il s’agira d’un groupe de chercheurs vaguement associés, intégrés dans les différentes divisions de l’entreprise. Un porte-parole d’OpenAI a décrit cette décision comme une « intégration [de l’équipe] plus profonde ».

On craint que, par conséquent, le développement de l’IA d’OpenAI ne soit pas aussi axé sur la sécurité qu’il aurait pu l’être.