要約

  • Nutrient は 9 月 10 日、スキーマに沿った値と出典情報を返す Data Extraction API の一般提供を発表した。
  • 信頼度は確率ではなく、スコアがないことも低信頼度を意味しない。原文との一致と業務上の承認は区別が必要だ。

請求書のどこに金額が書かれているかを示せれば、確認はしやすくなる。だが、その金額が求めた合計なのか、それとも明細の一項目なのかは別の問いだ。正確に見つかった数字でも、用途に合うとは限らない。これは仮想的な例であり、Nutrient の不具合を報告するものではない。

9 月 10 日の発表が打ち出す API は、文書の解析と構造化された項目の抽出を行う。値だけを受け取るのではなく、その根拠をページ上で調べられることに実務上の意味がある。誤りが起きた際、確認の出発点を確保できるためだ。

extract のガイドでは、JSON Schema を必須とし、内部で解析処理を実行して、定義された項目を返すと説明している。文書全体を要素や Markdown として扱う parse とは目的が異なる。項目ごとの引用情報はメタデータに入るが、引用の仕様によれば、既定で有効な引用処理は無効にもできる。その場合は計算を省き、メタデータが空になる。空であることだけを、出典を探せなかった証拠にはできない。

一致のラベルは、一つの元ブロックとの完全一致、複数ブロック、一部だけの解決、近似一致、位置を特定できなかった場合を区別する。ガイドは fuzzy_match や not_found を人の確認へ回す例を示す。ただし、それは処理を組むための指針であり、顧客ごとの承認業務が製品によって完了済みという意味ではない。

信頼度の値も別に読む必要がある。ゼロから一の相対的な指標で、校正済みの確率や百分率ではない。値が省略されるのはスコアを提供できない場合であり、ゼロや低信頼度と同じではない。影響の大きい項目は、スコアにかかわらず人が確認するようガイドは求めている。

公式ベンチマークの 0.932 は、200 件の PDF を使った understand モードの総合値で、読み順、表構造、見出し階層を対象とする。understand と agentic は公開コーパスでの社内評価で、公開ランキングへの掲載は text/structure のオープンソースツールについてだ。業務項目の 93.2% が正しいという保証ではない。ローカル処理時間も API の往復遅延とは異なり、別モードの速度と精度を一つの実測値として結び付けることはできない。

製品紹介ページも、根拠を点検した記録と結果の承認を分けている。意思決定の動画は業務フローの概念で、提供済みの画面ではない。誤りを調べやすくすることと、正しい処理を終えることの間には、なお運用の仕事が残る。