Resumo

  • Karen Spärck Jones redefiniu a especificidade de um termo como distribuição de uso em uma coleção, não como qualidade fixa de seu significado.
  • Os testes de 1972 mostraram que remover palavras frequentes derrubava a revocação; reduzir seu peso preservava acesso e aumentava a força discriminante dos termos raros.
  • IDF alto atesta apenas raridade relativa em um corpus determinado, não relevância, autoridade da fonte nem verdade factual.

Em documentos de ciência da informação, “index” pode aparecer por toda parte. Em uma coleção de engenharia aeronáutica, pode ser incomum. Nada mudou no dicionário; mudou o universo de comparação. O artigo de 1972 de Spärck Jones, “A statistical interpretation of term specificity and its application in retrieval”, converteu essa observação em método.

A especificidade costumava ser tratada como precisão semântica: “cacau” parece mais específico do que “bebida”. Porém, um termo semanticamente estreito pode perder poder de separação quando cobre quase todos os documentos. Spärck Jones propôs também defini-lo estatisticamente, pelo número de documentos aos quais se aplica.

Com isso, o peso passou a depender do ambiente. Crescimento do corpus, mistura temática, profundidade da indexação, radicalização, idioma e fronteira do documento alteram a frequência. O IDF não é propriedade permanente da palavra; é resultado de uma medição.

Frequente não significa descartável

Os testes mostraram que excluir termos muito frequentes podia reduzir severamente o teto de revocação. Consultas reais usavam vocabulário conhecido e frequente. A solução foi manter essas correspondências com voto menor e dar mais valor às correspondências raras.

O esquema original usava faixas inteiras relacionadas a potências de dois. Stephen Robertson o descreveu depois como aproximação da forma log(N/n): N é o total de documentos e n, o número que contém o termo. Essa frequência documental difere da frequência do termo dentro de um documento.

Gerard Salton e o projeto SMART avançaram indexação automática, term frequency, modelos de correspondência e avaliação. Spärck Jones reconheceu essa linha e isolou outra dimensão: a dispersão pela coleção. O TF–IDF posterior reúne sinais diferentes, não uma única medida de significado.

Três coleções e uma conclusão delimitada

O método foi comparado em 200 documentos da Aslib Cranfield, 541 da INSPEC e 797 do College of Librarianship Wales. Mesmo com vocabulários e pedidos distintos, o pareamento ponderado melhorou substancialmente o desempenho sobre a coordenação sem pesos, com diferenças estatisticamente significativas.

A autora também pediu testes em coleções muito maiores. Em 1973, “Index term weighting” comparou tipos de ponderação e encontrou ganhos materiais em ambientes diferentes. Isso valida um mecanismo em testes; não cria um valor universal para cada termo.

Cyril Cleverdon e a equipe Cranfield forneceram documentos, perguntas, julgamentos de relevância e a disciplina de precisão e revocação. Spärck Jones usou essa infraestrutura. Em sua retrospectiva de 1988, ela explicou que classificações plausíveis precisavam demonstrar efeito na busca.

O Cambridge Language Research Unit de Margaret Masterman forneceu o contexto de tesauros, coocorrência e classificação, ao lado do trabalho de Roger Needham. Martin Kay colaborou com Spärck Jones em obras amplas sobre processamento de linguagem e ciência da informação, mas não há base para atribuir a ele a proposta de IDF. Stephen Robertson desenvolveu mais tarde com ela a ponderação por relevância e a recuperação probabilística. Cranfield, SMART, CLRU, IDF, RSJ e BM25 formam uma história conectada, com autoria distribuída e distinta.

Raro não quer dizer correto

Erro ortográfico, código aleatório, spam ou alegação falsa isolada podem obter IDF alto. Um conceito decisivo pode ser comum. Raridade não é importância semântica.

Também não é relevância, que depende da relação entre consulta, documento e necessidade. Não é autoridade, que depende de proveniência. Não é verdade, que exige verificação factual.

Nem pode ser transferida sem recalcular. Janela temporal, idioma, deduplicação, tokenização e fronteira documental mudam N e n. A afirmação defensável é restrita: na coleção C, no instante T e sob a regra R, o termo é relativamente raro. Essa fronteira é a condição de auditabilidade do IDF.

Fontes principais