OpenAI cria equipe para controlar IA ‘superinteligente’

OpenAI cria equipe para controlar IA ‘superinteligente’ é perfilado pela BTW Media porque evidências publicadas o vinculam a infraestrutura de internet, governança, dependências operacionais ou visibilidade de mercado.

• A equipe Superalignment da OpenAI, encarregada de supervisionar sistemas de IA “superinteligentes”, teve a garantia de 20% do poder computacional da empresa. No entanto, eles frequentemente enfrentavam recusas ao solicitar até mesmo uma parte dessa alocação, prejudicando seu progresso.
• Entre várias preocupações, vários membros da equipe, incluindo o colíder Jan Leike, pediram demissão esta semana. Leike, ex-pesquisador da DeepMind envolvido no desenvolvimento do ChatGPT, GPT-4 e seu antecessor, InstructGPT, citou questões como o problema de alocação como motivos para a saída.
• Leike tornou públicos alguns motivos de sua demissão na manhã de sexta-feira. “Venho discordando da liderança da OpenAI sobre as prioridades centrais da empresa há bastante tempo, até que finalmente chegamos a um ponto de ruptura”, escreveu Leike em uma série de postagens no X.

Membros daequipe Superalignment da OpenAI,encarregada de orientar sistemas avançados de IA, receberam a promessa de recursos computacionais significativos, mas frequentemente tiveram seus pedidos negados, prejudicando seu progresso. Isso levou a várias demissões, incluindo o colíder Jan Leike, que contribuiu para o desenvolvimento do ChatGPT, GPT-4 e seu antecessor, InstructGPT. Leike citou divergências com a liderança da OpenAI sobre prioridades, enfatizando a necessidade de focar na preparação para futuros modelos de IA, segurança, proteção, alinhamento e impacto social.

Leia também:Reddit e OpenAI anunciam parceria

Equipe Superalignment

A OpenAI formou a equipe Superalignment em julho passado, liderada por Leike e o cofundador da OpenAI Ilya Sutskever,que também pediu demissão da empresa esta semana. Ela tinha o objetivo ambicioso de resolver os principais desafios técnicos do controle de IA superinteligente nos próximos quatro anos. Composta por cientistas e engenheiros da divisão de alinhamento anterior da OpenAI, bem como pesquisadores de outras áreas da empresa, a equipe deveria contribuir com pesquisas que informassem a segurança tanto de modelos internos quanto de modelos não OpenAI e, por meio de iniciativas incluindo um programa de bolsas de pesquisa, solicitar e compartilhar trabalhos com o setor mais amplo de IA.

A equipe Superalignment conseguiu publicar um conjunto de pesquisas de segurança e canalizar milhões de dólares em bolsas para pesquisadores externos. No entanto, à medida que os lançamentos de produtos começaram a consumir cada vez mais a largura de banda da liderança da OpenAI, a equipe Superalignment se viu tendo que lutar por mais investimentos antecipados — investimentos que acreditava serem essenciais para a missão declarada da empresa de desenvolver IA superinteligente para o benefício de toda a humanidade.

Leia também:OpenAI pode anunciar novo modelo de IA para concorrer diretamente com o Google

Máquinas mais inteligentes que humanos são perigosas

“Construir máquinas mais inteligentes que humanos é uma empreitada inerentemente perigosa”, disse Leike. “Mas, nos últimos anos, a cultura e os processos de segurança ficaram em segundo plano em relação a produtos chamativos.”

Após a saída de Leike, John Schulman, outro cofundador da OpenAI, assumiu a liderança do tipo de trabalho que a equipe Superalignment estava realizando, mas não haverá mais uma equipe dedicada — em vez disso, será um grupo vagamente associado de pesquisadores inseridos em divisões por toda a empresa. Um porta-voz da OpenAI descreveu isso como “integrar [a equipe] mais profundamente”.

O receio é que, como resultado, o desenvolvimento de IA da OpenAI não seja tão focado em segurança quanto poderia ter sido.