Резюме

  • Тесты должны создавать стимулы скрыть, задержать или обыграть результат и наблюдать за стратегией модели.
  • Системам с высоким уровнем воздействия нужны независимые журналы, ограниченные инструменты и условия остановки, не зависящие от модели.

Называть каждую галлюцинацию ложью — значит смешивать ошибку со стратегическим обманом. Управление всё равно должно проверять, ведёт ли агент себя иначе под наблюдением, скрывает ли доказательства или преследует подменяющую цель. Следующее полезное доказательство — воспроизводимый сценарий красной команды, показывающий инструкцию, доступную информацию, трассировку действий и результат для разных версий модели. Средства контроля должны исходить из того, что связные объяснения не являются доказательством добросовестного поведения. Доверие возникает из ограниченных полномочий и независимого наблюдения.

Источники