• A equipe Superalignment da OpenAI, encarregada de supervisionar sistemas de IA "superinteligentes", teve garantidos 20% do poder computacional da empresa. No entanto, ela frequentemente encontrou recusas ao solicitar qualquer parte dessa alocação, o que prejudicou seu progresso.
  • Entre várias preocupações, vários membros da equipe, incluindo o co-líder Jan Leike, renunciaram esta semana. Leike, ex-pesquisador do DeepMind envolvido no desenvolvimento do ChatGPT, GPT-4 e seu predecessor InstructGPT, citou questões como a alocação como motivos para sua saída.
  • Leike tornou públicas algumas das razões de sua renúncia na sexta-feira de manhã. "Discordo da direção da OpenAI quanto às prioridades fundamentais da empresa há algum tempo, até que finalmente chegamos a um ponto de ruptura", escreveu Leike em uma série de publicações no X.

Os membros daequipe Superalignmentda OpenAI, encarregada de orientar sistemas avançados de IA, tiveram prometidos recursos computacionais significativos, mas frequentemente tiveram seus pedidos negados, o que prejudicou seu progresso. Isso levou a várias renúncias, incluindo a do co-líder Jan Leike, que havia contribuído para o desenvolvimento do ChatGPT, GPT-4 e seu predecessor InstructGPT. Leike citou divergências com a direção da OpenAI quanto às prioridades, enfatizando a necessidade de focar na preparação para futuros modelos de IA, segurança, proteção, alinhamento e impacto social.

Leia também:Reddit e OpenAI anunciam parceria

A equipe Superalignment

A OpenAI formou a equipe Superalignment em julho passado, liderada por Leike e pelo cofundador da OpenAI Ilya Sutskever,que também deixou a empresa esta semana. Ela tinha o objetivo ambicioso de resolver os principais desafios técnicos relacionados ao controle da IA superinteligente nos próximos quatro anos. Composta por cientistas e engenheiros da antiga divisão de alinhamento da OpenAI, bem como pesquisadores de outras organizações da empresa, a equipe deveria contribuir para a pesquisa de segurança de modelos internos e não pertencentes à OpenAI e, por meio de iniciativas que incluíam um programa de subsídios de pesquisa, solicitar e compartilhar trabalhos com todo o setor de IA.

A equipe Superalignment conseguiu publicar um conjunto de pesquisas sobre segurança e distribuir milhões de dólares em subsídios a pesquisadores externos. Mas, à medida que os lançamentos de produtos começaram a consumir uma parcela crescente da atenção da direção da OpenAI, a equipe Superalignment se viu tendo que lutar por mais investimentos iniciais — investimentos que considerava essenciais para a missão declarada da empresa de desenvolver IA superinteligente em benefício de toda a humanidade.

Leia também:OpenAI pode anunciar novo modelo de IA para competir diretamente com o Google

Máquinas mais inteligentes que humanos são perigosas

"Construir máquinas mais inteligentes que humanos é uma empreitada inerentemente perigosa", disse Leike. "Mas nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação a produtos chamativos."

Após as saídas de Leike, John Schulman, outro cofundador da OpenAI, assumiu a liderança do tipo de trabalho que a equipe Superalignment realizava, mas não haverá mais uma equipe dedicada — em vez disso, será um grupo de pesquisadores vagamente associados, integrados nas diferentes divisões da empresa. Um porta-voz da OpenAI descreveu essa decisão como uma "integração [da equipe] mais profunda".

Há o temor de que, consequentemente, o desenvolvimento da IA da OpenAI não seja tão focado em segurança quanto poderia ter sido.