Кратко

  • Karen Spärck Jones предложила понимать специфичность термина как статистику его употребления в коллекции, а не как неизменное свойство значения.
  • В опытах 1972 года удаление частых терминов ухудшало полноту; их пониженный вес сохранял полезные совпадения, а редким словам давал больше различительной силы.
  • Высокий IDF означает лишь относительную редкость при заданном корпусе и правилах обработки — не релевантность, авторитетность или истинность.

В собрании работ по информационному поиску слово «index» встречается повсюду, а в авиационном архиве может быть редким. Словарное значение не изменилось; изменилось множество сравнения. Статья Spärck Jones 1972 года «A statistical interpretation of term specificity and its application in retrieval» сделала это различие основой вычислимого веса.

До этого специфичность часто связывали с семантической точностью: «какао» уже, чем «напиток». Но даже точный термин мало разделяет документы, если назначен почти каждому. Поэтому Spärck Jones добавила статистическое определение: специфичность зависит от числа документов, к которым относится термин.

Такой вес меняется вместе с окружением. Рост корпуса, новая тематическая смесь, глубина индексирования, стемминг, язык и граница документа меняют распределение. IDF принадлежит измерению, а не слову навсегда.

Частое слово нельзя просто выбросить

Очень частые термины создавали шум, однако их удаление резко снижало потолок полноты. Пользовательские запросы сами состояли из знакомых частых слов. Решение состояло в том, чтобы оставить им небольшой вклад, а редким совпадениям назначить больший.

Исходная схема использовала целочисленные ступени, связанные со степенями двойки. Stephen Robertson позднее описал её как приближение к привычному log(N/n), где N — число всех документов, а n — число документов с термином. Это документная частота, а не число употреблений внутри одного текста.

Gerard Salton и проект SMART развивали автоматическое индексирование, term frequency, сопоставление и экспериментальную оценку. Spärck Jones ссылалась на эту работу, но измеряла распространённость по коллекции. В TF–IDF соединяются два сигнала с разными пространствами наблюдения.

Результат трёх тестовых коллекций

Метод сравнивали на 200 документах Aslib Cranfield, 541 документе INSPEC и 797 документах College of Librarianship Wales. При разных словарях и запросах взвешенное сопоставление существенно превзошло простую невзвешенную координацию; различия были статистически значимыми.

Автор одновременно указала на необходимость испытаний в гораздо больших коллекциях. В статье 1973 года «Index term weighting» она сравнила виды весов и получила заметные улучшения в разных средах. Это проверка метода, а не доказательство универсальной ценности слова.

Cyril Cleverdon и команда Cranfield создали тестовые документы, вопросы, оценки релевантности и дисциплину измерения точности и полноты. Spärck Jones использовала эту инфраструктуру. В ретроспективе SIGIR 1988 года она подчёркивала: правдоподобная классификация должна показать эффект в поиске.

Ещё один корень — Cambridge Language Research Unit Margaret Masterman, где исследовали тезаурусы, совместную встречаемость и автоматическую классификацию; рядом развивалась работа Roger Needham. Martin Kay публиковался со Spärck Jones по общим вопросам автоматической обработки языка и информационной науки, но источники не приписывают ему предложение IDF. Stephen Robertson позднее вместе с ней развивал релевантностные веса и вероятностный поиск. Cranfield, SMART, CLRU, IDF, RSJ и BM25 связаны историей, но не являются одним авторским вкладом.

Чего редкость не подтверждает

Опечатка, случайный код, спам-маркер или единичное ложное утверждение могут иметь высокий IDF. Хорошо подтверждённый ключевой термин может быть частым. Значит, редкость не равна семантической важности.

Она также не равна релевантности: та связывает запрос, документ и информационную потребность. Авторитет требует происхождения и ответственности. Истина требует проверки фактов. Частота не заменяет ни одну из этих процедур.

Вес нельзя безусловно переносить между корпусами. Период, язык, дедупликация, токенизация и границы документов изменяют N и n. Корректное утверждение звучит узко: в коллекции C, во время T, по правилу R термин относительно редок. Именно эта граница делает IDF проверяемым.

Основные источники