要約

  • Karen Spärck Jones は、索引語の特異性を意味の細かさではなく、文書集合での使用分布として捉え直した。
  • 1972年の実験は、頻出語を捨てると再現率が落ちる一方、低頻度語の一致に大きな重みを与えると識別力が高まることを示した。
  • 高いIDFが示すのは、指定された集合と処理条件でその語が少ないという事実だけであり、重要性、関連性、権威、真実性ではない。

図書館情報学の文書群では「index」が至る所に現れ、航空工学の文書群ではまれかもしれない。語の辞書的意味は同じでも、候補を分ける力は同じではない。Spärck Jones の1972年論文 “A statistical interpretation of term specificity and its application in retrieval” は、この差を検索の中心問題として扱った。

従来の特異性は、概念がどれほど狭く精密かという意味論的な性質として理解されがちだった。しかし、精密な語でも集合の多くの文書に付与されれば、検索では弱い識別子になる。そこで彼女は、特異性を「その語が何件の文書に関わるか」という統計的性質として再定義した。これは意味を否定する議論ではない。意味と識別力を別の証拠として扱う設計である。

削除ではなく、発言力を調整する

頻出語はノイズを増やすが、全面的に削除すると必要な文書への入口も失われる。三つのテスト集合では、頻出語の除外によって再現率の上限が大きく低下した。利用者の問い合わせ自体が、よく知られた頻出語を多く含んでいたからである。

解決策は、頻出語の一致をゼロにすることではなかった。低頻度語の一致をより高く評価し、頻出語の一致も小さな証拠として残す。原論文の重みは二の累乗に沿う整数区分で、Stephen Robertson の後年の整理では、現在よく使われる log(N/n) の整数近似と説明される。N は集合の文書数、n は当該語を含む文書数である。

この文書頻度は、一つの文書内で語が何回出るかという term frequency とは異なる。Gerard Salton と SMART の研究は、自動索引、文書内頻度の重み、ベクトル的照合、評価を大きく前進させた。Spärck Jones はそれらを参照しつつ、集合内での広がりという別の性質を測った。後の TF–IDF が両者を組み合わせても、証拠の由来は同一ではない。

実験の強さと限界

1972年の比較は、Aslib Cranfield の200文書、INSPEC の541文書、College of Librarianship Wales の797文書で行われた。規模も語彙も検索要求も異なる三集合で、重み付き照合は単純な無加重照合より大幅に改善し、差は統計的に有意だった。

同時に、著者はさらに大きな集合での実験が必要だと記している。1973年の “Index term weighting” は重み付けの型を比較し、異なる環境での改善を報告したが、語に普遍的な価値を刻印したわけではない。

評価の基盤を作った Cyril Cleverdon と Cranfield チームの役割も分けて記す必要がある。文書、質問、関連性判定、精度と再現率による比較があったから、アイデアは検証できた。Spärck Jones はこの基盤を利用したのであって、Cranfield を単独で作ったのではない。彼女自身の 1988年SIGIR講演も、もっともらしい説明だけでは足りず、検索効果を試す必要があったと振り返る。

Cambridge Language Research Unit では、Margaret Masterman のもとでシソーラス、語の共起、機械分類が研究され、Roger Needham の分類研究もこの背景を形づくった。Martin Kay は Spärck Jones と自動言語処理の概説や Linguistics and Information Science を共著したが、1972年のIDF案の著者とする根拠はない。Stephen Robertson はその後、彼女と関連性重み付けと確率的検索モデルを発展させた。Cranfield、SMART、CLRU、IDF、RSJ重み、BM25は歴史的につながるが、同じ貢献ではない。

IDFが証明しないもの

希少な綴り間違いも、ランダムな識別子も、一度だけ現れる虚偽も高いIDFを得うる。一方、重要な一般語は低くなる。したがって希少性は意味的重要性ではない。

また、関連性は問い合わせ、文書、利用者の情報要求の関係で決まる。高IDF語を含む文書が無関係なこともある。権威性と真偽は、出所、証拠、検証によって判断すべきで、頻度では代替できない。

さらに重みは集合を越えて自動的に移植できない。対象期間、言語、重複除去、トークン化、文書境界が変われば分母も分子も動く。IDFが正当に述べられる範囲は、「時点Tの集合Cで、規則Rにより、この語は相対的に少ない」である。

この狭さこそ強みだ。IDFは、特定の集合内で一致の識別力を安価に改善する。真実判定器ではないからこそ、再計算と評価が可能な検索部品として長く残った。

主要資料