• El equipo Superalignment de OpenAI, encargado de supervisar sistemas de IA “superinteligentes”, recibió la garantía del 20% de la capacidad informática de la empresa. Sin embargo, con frecuencia se le negaban las solicitudes incluso de una parte de esta asignación, lo que obstaculizaba su progreso.
  • Entre varias preocupaciones, varios miembros del equipo, incluido el co-líder Jan Leike, renunciaron esta semana. Leike, ex investigador de DeepMind involucrado en el desarrollo de ChatGPT, GPT-4 y su predecesor, InstructGPT, citó problemas como el de la asignación como razones para su salida.
  • Leike hizo públicas algunas razones de su renuncia el viernes por la mañana. “He estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la empresa durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”, escribió Leike en una serie de publicaciones en X.

Miembros delequipo Superalignmentde OpenAI, encargados de guiar sistemas avanzados de IA, recibieron promesas de importantes recursos informáticos, pero a menudo se les denegaban las solicitudes, lo que obstaculizaba su progreso. Esto llevó a varias renuncias, incluida la del co-líder Jan Leike, quien había contribuido al desarrollo de ChatGPT, GPT-4 y su predecesor, InstructGPT. Leike citó desacuerdos con el liderazgo de OpenAI sobre las prioridades, enfatizando la necesidad de centrarse en preparar futuros modelos de IA, la seguridad, la protección, el alineamiento y el impacto social.

También lea:Reddit y OpenAI anuncian asociación

Equipo Superalignment

OpenAI formó el equipo Superalignment el pasado mes de julio, que fue liderado por Leike y el cofundador de OpenAI Ilya Sutskever,quien también renunció a la empresa esta semana. Tenía el ambicioso objetivo de resolver los principales desafíos técnicos para controlar la IA superinteligente en los próximos cuatro años. Con la incorporación de científicos e ingenieros de la anterior división de alineamiento de OpenAI, así como investigadores de otras organizaciones de la empresa, el equipo debía contribuir con investigaciones que informaran la seguridad tanto de los modelos internos como de los externos a OpenAI, y, mediante iniciativas como un programa de subvenciones para investigación, solicitar y compartir trabajo con la industria de IA en general.

El equipo Superalignment logró publicar un conjunto de investigaciones sobre seguridad y canalizar millones de dólares en subvenciones a investigadores externos. Pero, a medida que los lanzamientos de productos comenzaron a ocupar una cantidad cada vez mayor del ancho de banda del liderazgo de OpenAI, el equipo Superalignment se encontró teniendo que luchar por más inversiones iniciales, inversiones que consideraba críticas para la misión declarada de la empresa de desarrollar IA superinteligente en beneficio de toda la humanidad.

También lea:OpenAI podría anunciar un nuevo modelo de IA para competir directamente con Google

Las máquinas más inteligentes que los humanos son peligrosas

“Construir máquinas más inteligentes que los humanos es una tarea inherentemente peligrosa”, dijo Leike. “Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos llamativos”.

Tras la salida de Leike, John Schulman, otro cofundador de OpenAI, ha pasado a liderar el tipo de trabajo que realizaba el equipo Superalignment, pero ya no habrá un equipo dedicado: en su lugar, será un grupo de investigadores vagamente asociados integrados en divisiones de toda la empresa. Un portavoz de OpenAI lo describió como “integrar [el equipo] más profundamente”.

El temor es que, como resultado, el desarrollo de IA de OpenAI no esté tan centrado en la seguridad como podría haberlo estado.