Zusammenfassung

  • Karen Spärck Jones deutete Termspezifität als statistische Eigenschaft des Gebrauchs in einer Dokumentensammlung, nicht nur als semantische Feinheit.
  • Ihre Versuche von 1972 zeigten: Häufige Terme zu löschen schadet dem Recall; sinnvoller ist es, sie geringer und seltene Übereinstimmungen stärker zu gewichten.
  • Ein hoher IDF belegt lediglich relative Seltenheit in einem benannten Korpus unter benannten Regeln, nicht Relevanz, Quellenautorität oder Faktentreue.

„Index“ trennt in einer Sammlung zur Informationswissenschaft kaum Dokumente, kann aber in einem aeronautischen Bestand selten sein. Die Wortbedeutung blieb gleich; verändert hat sich der Vergleichsraum. Genau diese Beobachtung operationalisierte Spärck Jones in ihrem Aufsatz von 1972, „A statistical interpretation of term specificity and its application in retrieval“.

Spezifität galt meist als semantische Präzision: „Kakao“ ist enger als „Getränk“. Doch auch ein präziser Term kann fast überall vergeben werden und damit wenig unterscheiden. Spärck Jones schlug eine statistische Sicht vor: Entscheidend ist zusätzlich, auf wie viele Dokumente ein Term zutrifft.

Damit wurde das Gewicht veränderlich. Wachstum, Themenmix, Indexierungstiefe, Stemming, Sprache und Dokumentgrenzen verschieben die Verteilung. IDF gehört nicht dauerhaft zum Wort, sondern zu einer Messung.

Häufige Terme behalten, ihren Einfluss begrenzen

Das Entfernen sehr häufiger Terme senkte in den Experimenten den maximalen Recall deutlich. Anfragen bestanden oft gerade aus geläufigen Wörtern. Die Alternative war, häufigen Treffern einen kleineren Beitrag zu lassen und seltene Treffer höher zu bewerten.

Die ursprüngliche Gewichtung arbeitete mit ganzzahligen Stufen entlang von Zweierpotenzen. Stephen Robertson ordnete sie später als Näherung an die verbreitete Form log(N/n) ein: N steht für alle Dokumente, n für jene mit dem Term. Diese Dokumenthäufigkeit unterscheidet sich von der Häufigkeit innerhalb eines einzelnen Dokuments.

Gerard Salton und SMART hatten automatische Indexierung, Termfrequenz, Matching und Evaluation vorangetrieben. Spärck Jones bezog sich auf diese Forschung, untersuchte aber die Verteilung über die Sammlung. Das spätere TF–IDF verbindet zwei Signale mit verschiedenen Bezugsgrößen.

Getestet, aber nicht grenzenlos

Die Studie verglich 200 Aslib-Cranfield-Dokumente, 541 INSPEC-Dokumente und 797 Dokumente des College of Librarianship Wales. Trotz unterschiedlicher Vokabulare und Anfragen verbesserte die Gewichtung die Leistung gegenüber einfacher ungewichteter Koordination erheblich; die Unterschiede waren statistisch signifikant.

Spärck Jones forderte ausdrücklich Versuche mit viel größeren Sammlungen. Ihr Beitrag „Index term weighting“ von 1973 verglich Gewichtungstypen und fand materielle Verbesserungen in unterschiedlichen Umgebungen. Das war Evidenz für ein Verfahren, nicht für einen universellen Wortwert.

Cyril Cleverdon und das Cranfield-Team stellten Testdokumente, Fragen, Relevanzurteile sowie die Präzisions- und Recall-Disziplin bereit. Spärck Jones nutzte diese Infrastruktur. In ihrem SIGIR-Rückblick von 1988 betonte sie, dass plausible Klassifikationsideen ihre Retrievalwirkung nachweisen mussten.

Am Cambridge Language Research Unit unter Margaret Masterman entstanden Arbeiten zu Thesauri, Kookkurrenz und automatischer Klassifikation; Roger Needham trug zu diesem Umfeld bei. Martin Kay veröffentlichte mit Spärck Jones über automatische Sprachverarbeitung und Linguistics and Information Science, ist aber nicht als Urheber des IDF-Vorschlags belegt. Stephen Robertson entwickelte später mit ihr Relevanzgewichtung und probabilistisches Retrieval weiter. Cranfield, SMART, CLRU, IDF, RSJ-Gewichte und BM25 sind verbunden, bleiben jedoch getrennte Beiträge.

Seltenheit ist kein Gütesiegel

Tippfehler, Zufallscodes oder einmalige Falschbehauptungen können hohen IDF erhalten. Ein zentrales, gut belegtes Wort kann häufig sein. Seltenheit ist daher weder semantische Wichtigkeit noch Relevanz.

Relevanz verbindet Anfrage, Dokument und Informationsbedarf. Autorität braucht Herkunft und Verantwortung. Wahrheit braucht Sachprüfung. Keine dieser Aufgaben erledigt die Dokumenthäufigkeit.

Auch zwischen Korpora ist das Gewicht nicht unverändert übertragbar. Zeitraum, Sprache, Deduplizierung, Tokenisierung und Dokumentgrenzen verändern N und n. Vertretbar ist die engere Aussage: In Sammlung C, zum Zeitpunkt T, unter Regel R ist der Term relativ selten. Gerade diese Grenze macht IDF überprüfbar.

Hauptquellen