• В понедельник Anthropic запустила новую программу финансирования разработки бенчмарков, способных оценивать возможности и влияние моделей ИИ.
  • Новые бенчмарки, которые Anthropic рассчитывает создать, будут в большей степени сосредоточены на безопасности и общественном влиянии искусственного интеллекта. Однако с учётом коммерческих амбиций компании в конкурентной борьбе в сфере ИИ у этих действий могут быть и другие цели.

НАШЕ МНЕНИЕ
Anthropic запустила программу разработки бенчмарков ИИ и финансирует сторонние организации, чтобы те оценивали возможности и влияние моделей; цель программы — повысить безопасность ИИ. Однако коммерческие амбиции компании вызывают вопросы, а мнения об оценке рисков ИИ расходятся. Хотя эти усилия заслуживают одобрения, универсальность таких бенчмарков ещё предстоит проверить, а их ценность необходимо постоянно оценивать.
— Jasmine Zhang, журналистка BTW

Что произошло

Anthropicобъявила о запуске программы финансирования разработки новых бенчмарков для оценки возможностей и влияния моделей ИИ. О плане объявили в понедельник. Он предусматривает финансовую поддержку сторонних организаций, способных эффективно измерять расширенные возможности моделей ИИ.

В официальном блоге Anthropic заявила, что эти инвестиции призваны укрепить сферу безопасности ИИ в целом и предоставить полезные инструменты всей экосистеме. Разрабатывать качественные оценки безопасности по-прежнему сложно, а спрос значительно превышает предложение. У существующих бенчмарков ИИ есть недостатки, из-за которых они не всегда отражают реальное использование систем обычными людьми. Кроме того, остаётся спорным вопрос, действительно ли некоторые прежние тесты измеряли именно то, что заявлялось.

Anthropic предлагает создавать сложные бенчмарки, сосредоточенные на безопасности ИИ и его общественном влиянии, с помощью новых инструментов, инфраструктуры и методов. Компания отдельно призывает разрабатывать и оценивать модели для проверки возможностей по проведению кибератак, совершенствованию оружия массового уничтожения, а также манипулированию людьми или их обману. Для рисков ИИ в области национальной безопасности и обороны Anthropic пообещала разработать «систему раннего предупреждения», но не раскрыла в блоге конкретных подробностей.

Читайте также:Schneider и NVIDIA разработают «эталонный» проект дата-центра для ИИ

Читайте также:Anthropic утверждает, что её новейшая модель — лучшая в своём классе

Почему это важно

Сейчас исследования, разработка и регулирование искусственного интеллекта находятся на этапе стремительного развития. Усилия Anthropic по поддержке новых бенчмарков ИИ носят новаторский характер и в определённой степени не предполагают встречной выгоды, что, безусловно, заслуживает одобрения.

Однако с учётом коммерческих амбиций компании в конкурентной борьбе в сфере искусственного интеллекта следует сохранять скептическое отношение к новым бенчмаркам, предлагаемым Anthropic.

Некоторые представители сообщества ИИ также оспаривают заявленные Anthropic риски «катастрофического» развития искусственного интеллекта и его способности к «обману».Многие экспертыутверждают, что существует мало доказательств того, что в ближайшей перспективе искусственный интеллект обретёт способность уничтожить мир и превзойти человечество. Поэтому по-прежнему остаются вопросы: насколько универсальны усилия Anthropic по созданию новых бенчмарков ИИ, присутствует ли в действиях компании корыстный интерес к получению выгоды и могут ли результаты новых бенчмарков служить надёжным ориентиром.