Google DeepMind、超人的な AI ファクトチェッカー「SAFE」を発表

Google DeepMind の「超人的」AI ファクトチェッカー「SAFE」は、インターネットインフラ、ガバナンス、運用上の依存関係、または市場での可視性に関連する公開証拠に基づき、BTW Media によってプロファイリングされています。

• Search-Augmented Factuality Evaluator（SAFE）は、大規模言語モデル（LLM）を用いて生成テキストを個々の事実に分解する手法である。
• この「超人的」AI システムは、ファクトチェックの精度向上、コスト効率、正確性を改善できる。
• 著名な AI 研究者 Gary Marcus 氏は、「超人的」とは真の専門家ファクトチェッカーではなく、単に低賃金労働者より優れていることを意味するのではないかと示唆した。

Google DeepMind は、大規模言語モデル（LLM）が生成した情報の正確性評価において、人間のファクトチェッカーを上回る「超人的な」AI システムを発表した。

Search-Augmented Factuality Evaluator（SAFE）

「Long-form factuality in large language models」と題された本研究は、SAFE を、LLM を用いて生成テキストを個々の事実に分解する手法として紹介している。その後、Google 検索の結果を用いて各主張の正確性を判断する。

研究者らは、約 16,000 の事実を含むデータセットで SAFE と人間のアノテーターを比較し、SAFE の評価が人間の評価と一致したのは 72％であった。さらに印象的なことに、SAFE と人間の評価が異なる場合、SAFE の判断が 76％のケースで正しかった。

関連記事:Microsoft、DeepMind 共同創業者 Mustafa Suleyman 氏を新 AI 部門 CEO に任命

「超人的」パフォーマンスが論争を呼ぶ

研究者らは大規模言語モデルエージェントが「超人的」な評価性能に到達できると主張する一方、一部の専門家はこの文脈での「超人的」の実際の意味に疑問を呈している。

AI 研究者の Gary Marcus 氏は、「超人的」という言葉は、真の専門家ファクトチェッカーではなく、単に低賃金の労働者より優れていることを意味するのではないかと指摘する。

Marcus 氏は、SAFE の超人的性能を真に示すには、熟練した人間のファクトチェッカーとの比較が不可欠だと主張する。

SAFE の利点

SAFE の明白な利点はコストだ。研究者らは、AI システムの利用が人間のファクトチェッカーを使用するより約 20 倍安価であることを発見した。情報量が増え続ける中、低コストで高効率なアプローチの重要性が高まっている。

DeepMind のチームはまた、4 つのファミリー（Gemini、GPT、Claude、PaLM-2）にわたる主要な 13 の言語モデルの事実精度を SAFE で評価した。その結果、より大規模なモデルほど事実誤認が少ない傾向があることがわかった。

しかし、最も高性能なモデルでさえ、依然として多数の誤情報を生成していた。

これは、不正確な情報を流暢に表現できる言語モデルへの過度の依存リスクを浮き彫りにしている。SAFE のような自動ファクトチェックツールは、これらのリスク軽減に重要な役割を果たす可能性がある。