Resumen

  • Karen Spärck Jones trasladó la especificidad desde el significado de una palabra hacia su distribución observable en una colección documental.
  • Sus pruebas de 1972 mostraron que eliminar los términos frecuentes dañaba la recuperación; ponderarlos menos conservaba su utilidad y premiaba la capacidad discriminante de los raros.
  • Un IDF alto solo acredita rareza relativa bajo un corpus y unas reglas concretas, no relevancia, prestigio de la fuente ni veracidad.

“Index” puede ser casi omnipresente en una colección de biblioteconomía y excepcional en un archivo aeronáutico. El término no cambia; cambia el conjunto contra el que se compara. En su artículo de 1972, Spärck Jones convirtió esa observación en una interpretación estadística de la especificidad.

La lectura semántica consideraba más específico el concepto más detallado: “cacao” frente a “bebida”. Pero un término preciso puede asignarse a tantos documentos que deje de separar unos de otros. Su propuesta fue medir también la especificidad por el número de documentos alcanzados por el término. Así, el corpus pasó a formar parte de la definición operativa.

El peso quedó sometido a revisión. Si crece la colección, cambia la mezcla temática, se amplía la indexación o se modifican el stemming y los límites documentales, cambia la distribución. El IDF pertenece a una medición, no a la esencia de la palabra.

Las palabras comunes no eran desechables

Los términos muy frecuentes generaban ruido, pero suprimirlos reducía con fuerza el techo de recall. Las consultas de los usuarios estaban formuladas precisamente con vocabulario conocido y frecuente. La respuesta consistió en conservar esas coincidencias con menos peso y asignar más valor a las coincidencias escasas.

La versión de 1972 usaba escalones enteros relacionados con potencias de dos. Stephen Robertson explicó después su relación con la forma convencional log(N/n): N es el número total de documentos y n, el número que contiene el término. Es frecuencia entre documentos, distinta de la frecuencia del término dentro de uno solo.

Gerard Salton y el entorno SMART desarrollaron evaluación automática, frecuencia de término y modelos de coincidencia. Spärck Jones citó esa tradición y separó sus variables. La posterior combinación TF–IDF no convierte TF e IDF en la misma observación: una mide intensidad local; la otra, difusión en el conjunto.

La evidencia fue comparativa

El método se probó en 200 documentos de Aslib Cranfield, 541 de INSPEC y 797 del College of Librarianship Wales. Las tres colecciones diferían en vocabulario y consultas, pero la ponderación mejoró sustancialmente la búsqueda frente a la coordinación simple sin pesos, con diferencias estadísticamente significativas.

La autora no presentó esos bancos como una garantía universal. Pidió experimentos con colecciones mucho mayores. En 1973, “Index term weighting” comparó tipos de ponderación y encontró mejoras materiales en entornos distintos. El resultado respaldaba una técnica; no fijaba un valor eterno para cada palabra.

Cyril Cleverdon y el equipo de Cranfield habían creado colecciones, preguntas, juicios de relevancia y una disciplina de evaluación mediante precisión y recall. Spärck Jones utilizó esa infraestructura. En su retrospectiva de 1988 explicó que una clasificación plausible debía probar que mejoraba la recuperación.

La Cambridge Language Research Unit de Margaret Masterman aportó el contexto de tesauros, coocurrencia y clasificación automática, junto con el trabajo de Roger Needham. Martin Kay colaboró con Spärck Jones en estudios generales de procesamiento lingüístico y en Linguistics and Information Science, pero las fuentes no le atribuyen la propuesta IDF. Stephen Robertson colaboró más tarde con ella en ponderación de relevancia y recuperación probabilística. Cranfield, SMART, CLRU, IDF y la línea que conduce a BM25 son contribuciones conectadas, no intercambiables.

Lo raro puede estar equivocado

Una errata, un identificador aleatorio o una afirmación falsa aislada pueden tener IDF alto. Un término central y bien verificado puede ser común. Por eso la rareza no equivale a importancia semántica.

Tampoco equivale a relevancia: esta relaciona una consulta, un documento y una necesidad. Ni a autoridad: esa depende de procedencia y responsabilidad. Ni a verdad: comprobar hechos requiere evidencia independiente.

El peso tampoco viaja intacto entre corpus. Cambiar idioma, periodo, deduplicación, tokenización o la definición de documento altera N y n. La afirmación defendible es limitada: “en la colección C, en el momento T y con la regla R, este término aparece en relativamente pocos documentos”. Esa precisión no debilita el IDF; explica por qué puede auditarse.

Fuentes principales