最近、AI 検出器が、1787 年に米国憲法が人工知能によって書かれたと主張して驚きを引き起こしています。

最近、AI 検出器が、1787 年に米国憲法が人工知能によって
書かれたと主張して驚きを引き起こしています。しかし、この主張は明らかに誤りであるものの、
AI 生成コンテンツを識別する AI 検出器の信頼性が
十分でないという憂慮すべき問題を浮き彫りにしています。

問題の核心は、これらの検出器が使用する手法にあります。ChatGPT のような大規模言語モデルを使用し、
人間が書いたテキストと AI が生成したテキストの膨大なデータで訓練されています。
それにより、テキストが人間の著作か AI の著作かを確率的に判断します。
ここでは「パープレキシティ」と「バースティネス」という 2 つの主要な指標が使用されます。

形式的な言語＝AI コンテンツ？
パープレキシティは、テキストがトレーニング中に AI モデルが学習した内容に
どの程度適合するかを測定します。トレーニングデータに密接に似た AI 生成コンテンツを
正確に識別できます。

これは一見正しいように思えますが、米国憲法のような
形式的な言語を扱う場合には問題があります。

一方、バースティネスは、文の長さと構造の変動性を評価します。
AI 生成コンテンツはより均一性を示すことが多く、これは人間の文章が
長さにばらつきがあるのとは異なります。

ただし、これらの指標には限界があります。熟練した人間の書き手は、
低いパープレキシティのコンテンツを作成でき、AI 生成スタイルを模倣することがあります。
同様に、AI モデルもますます人間らしい文章を書くようになっており、
バースティネスは信頼性の低い識別子となっています。

あまりにも多くの誤検出
AI ライティング検出器の研究によると、それらは決して完璧とは言えず、
ランダムな分類器よりもわずかに優れている程度です。頻繁に誤検出を返し、
学生やライターに対する不当な評価や非難につながる可能性があります。
さらに、これらの検出器は言い換え攻撃によって容易に回避でき、
精度がさらに損なわれます。

こうした懸念の中、一部の教育者は ChatGPT などの AI ツールを学習支援として取り入れており、
既存の検出器では AI 生成コンテンツを正確に検出するには
不十分であることを認識しています。

検出の逆転
これに対応して、ある AI 検出器の開発者は、AI 検出の焦点を変更し、
代わりにコンテンツ作成における人間らしさを強調する計画です。その目標は、
教師や学生が教育における AI の役割の変化する状況を乗り切るのを支援することです。
AI ライティング検出の課題は、非ネイティブの英語話者に対する潜在的なバイアスによって
さらに複雑化しており、彼らの作品で誤検出率が高くなる原因となっています。
AI が進歩し続ける中で、誤情報に対する強固な保護措置と、
コンテンツ作成への AI の関与を適切に認識することの必要性が
ますます明らかになっています。
現在の AI 検出器の欠陥は、より正確で信頼性の高い検出システムを開発する
緊急の必要性を浮き彫りにしています。そのようなシステムが利用可能になるまで、
誤検出による個人への影響を考慮し、AI 生成コンテンツの検出には
慎重に取り組むことが重要です。