Исследователи Google и Стэнфорда запускают инструмент проверки фактов на основе ИИ

Исследователи Google и Стэнфорда — публичная запись, основанная на материалах статьи, контексте объекта, связанных событиях и контексте взаимоотношений.

Недавняя разработка Google DeepMind и Стэнфордского университета представляет Search-Augmented Factuality Evaluator (SAFE) — инструмент для проверки фактов в длинных ответах ИИ-чатботов. SAFE работает в несколько этапов, включая сегментацию, корректировку и сравнение с результатами поиска Google, и достигает точности 76 % при проверке спорных фактов. Эта инновация не только повышает точность ответов, генерируемых ИИ, но и даёт экономический эффект: она более чем в 20 раз дешевле ручной разметки.

Какими бы мощными ни были современные ИИ-чатботы, они склонны к поведению, которое подвергается резкой критике: давать пользователям ответы, выглядящие убедительно, но фактически неверные. Проще говоря, ИИ иногда «сходит с рельсов» в своих ответах и даже «распространяет слухи». Предотвратить такое поведение у больших моделей ИИ непросто, и это серьёзный технический вызов. Однако, по сообщению зарубежного издания Marktechpost, Google DeepMind и Стэнфордский университет, похоже, нашли обходное решение.

Читайте также: Магазин GPT от OpenAI не оправдывает ожиданий Читайте также: Федеральные ведомства США теперь обязаны иметь ответственного за ИИ Инструмент основан на Search-Augmented Factuality Evaluator (SAFE) Исследователи представили инструмент на основе больших языковых моделей — Search-Augmented Factuality Evaluator (SAFE), — способный проверять факты в длинных ответах, генерируемых чатботами. Результаты их исследований, а также экспериментальный код и наборы данных были опубликованы — нажмите здесь, чтобы посмотреть.

Система анализирует, обрабатывает и оценивает ответы чатботов в четыре этапа, чтобы проверить их точность и достоверность: разбивает ответы на отдельные утверждения для проверки, корректирует указанный контент, а затем сравнивает с результатами поиска Google. Далее система проверяет соответствие каждого факта исходному вопросу. Чтобы оценить работу системы, исследователи создали набор данных LongFact. Для оценки эффективности исследователи создали набор данных LongFact, содержащий около 16 000 фактов, и протестировали систему на 13 больших языковых моделях — Claude, Gemini, GPT и PaLM-2.

Результаты показывают, что в целевом анализе 100 спорных фактов точность суждений SAFE после более тщательной проверки достигает 76 %. Кроме того, фреймворк обладает экономическим преимуществом: он более чем в 20 раз дешевле ручной разметки.