• Команда Superalignment в OpenAI, которой поручено контролировать «сверхразумные» системы ИИ, получила гарантию на 20 % вычислительных мощностей компании. Однако её запросы даже на часть этой квоты часто отклонялись, что мешало прогрессу.
  • Среди прочих проблем несколько участников команды, включая соруководителя Яна Лейке, ушли в отставку на этой неделе. Лейке, бывший исследователь DeepMind, участвовавший в разработке ChatGPT, GPT-4 и их предшественника InstructGPT, назвал среди причин ухода такие вопросы, как распределение ресурсов.
  • Лейке обнародовал часть причин своей отставки в пятницу утром. «Я уже некоторое время не согласен с руководством OpenAI по поводу фундаментальных приоритетов компании, пока мы в конце концов не достигли точки разрыва», — написал Лейке в серии публикаций в X.

Сотрудникикоманды Superalignment,созданной OpenAI для сопровождения передовых систем ИИ, получили обещание значительных вычислительных ресурсов, но их запросы часто отклонялись, что мешало прогрессу. Это привело к нескольким отставкам, в том числе соруководителя Яна Лейке, который участвовал в разработке ChatGPT, GPT-4 и их предшественника InstructGPT. Лейке объяснил свой уход разногласиями с руководством OpenAI по приоритетам, подчеркнув необходимость сосредоточиться на подготовке будущих моделей ИИ, безопасности, защищённости, согласовании и влиянии на общество.

Читайте также:Reddit и OpenAI объявляют о партнёрстве

Команда Superalignment

OpenAI сформировала команду Superalignment в июле прошлого года под руководством Лейке и сооснователя OpenAI Ильи Суцкевера,который также ушёл из компании на этой неделе. Перед ней стояла амбициозная цель — за четыре года решить ключевые технические задачи контроля над сверхразумным ИИ. В команду вошли учёные и инженеры из бывшего отдела согласования OpenAI, а также исследователи из других подразделений компании; она должна была участвовать в исследованиях безопасности внутренних моделей и моделей, созданных не в OpenAI, и через инициативы, включая программу исследовательских грантов, привлекать и распространять работы во всей ИИ-индустрии.

Команде Superalignment удалось опубликовать ряд исследований по безопасности и выплатить миллионы долларов грантов внешним исследователям. Но по мере того как запуски продуктов стали занимать всё больше внимания руководства OpenAI, команде Superalignment пришлось бороться за дополнительные первоначальные инвестиции — инвестиции, которые она считала необходимыми для заявленной миссии компании по созданию сверхразумного ИИ на благо всего человечества.

Читайте также:OpenAI может анонсировать новую модель ИИ для прямой конкуренции с Google

Машины умнее человека опасны

«Создавать машины умнее человека — по своей сути опасное занятие», — сказал Лейке. «Но в последние годы культура и процессы безопасности отошли на второй план перед броскими продуктами».

После ухода Лейке другой сооснователь OpenAI, Джон Шульман, взял на себя руководство работой, которой занималась команда Superalignment, но отдельной команды больше не будет — вместо неё появится группа слабо связанных исследователей, встроенных в разные подразделения компании. Представитель OpenAI назвал это решение «более глубокой интеграцией» команды.

Существует опасение, что из-за этого разработка ИИ в OpenAI может оказаться не такой безопасной, какой могла бы быть.