摘要

  • Karen Spärck Jones 在 1972 年把索引词特异性定义为文档集合中的使用分布，而非词义天然携带的等级。
  • 她的实验表明，高频词不能简单删除：它们仍支撑召回；更稳妥的办法是保留匹配，同时降低其相对权重。
  • 高 IDF 只说明某词在指定集合与处理规则下较少出现，不能替代相关性判断、来源核验或事实验证。

在信息科学语料里，“index”可能遍布大多数文档；在航空工程材料里，它可能只出现在少数条目中。同一个拼写、同一个常用释义，却产生不同的区分能力。Spärck Jones 在 1972 年论文 《A statistical interpretation of term specificity and its application in retrieval》中抓住的，就是这个集合依赖性。

传统上，特异性容易被理解为语义精细程度：“cocoa”似乎比“beverage”更具体。但当索引词进入真实文档集后，一个语义很精确的词也可能因出现得太广而缺乏筛选能力。她因此提出，检索系统还应把特异性视为统计属性，即一个词涉及多少文档。词义没有消失，只是不再独占判断权。

这个改写也意味着权重没有脱离环境的永久值。集合扩容、主题比例变化、索引详尽度调整、词干化规则改变，都会推动文档频率变化。IDF 不是词的身份证，而是一次测量的结果。

高频词仍然有用

1972 年实验没有把常见词当作停用噪声一删了之。研究发现，删除高频词会明显压低召回上限，因为用户往往正是用熟悉、常见的词表达需求。解决方案不是让常见词失去投票权，而是让不同匹配获得不同票重：覆盖文档越少的词，匹配价值越高；覆盖越广的词，价值越低。

原论文采用按二次幂分组的整数权重。Stephen Robertson 后来的技术分析指出，它可看作今日常见 log(N/n) 形式的整数近似，其中 N 是集合文档数，n 是包含该词的文档数。这里计算的是跨文档分布，与词在单篇文档内出现多少次不是一回事。Gerard Salton 与 SMART 项目此前已推进自动索引、词频加权和系统评测；Spärck Jones 在论文中引用并区分了这些工作。后来的 TF–IDF 把两类证据结合起来，但不能抹去它们各自的分母。

改善来自测试，不来自口号

方案在三套测试集合上比较：200 篇文档的 Aslib Cranfield、541 篇文档的 INSPEC，以及 797 篇文档的威尔士图书馆学院集合。三者规模、词表与请求结构不同，加权匹配相对简单的不加权协调匹配都有显著改善。

结果有分量，因为它建立在相关性判断、精确率与召回率比较之上；结果也有边界，因为这些不是网页规模数据。Spärck Jones 明确提出需要更大集合的进一步实验。她 1973 年的 《Index term weighting》继续比较不同权重逻辑，并在不同集合环境中观察到实质改善，却没有把集合频率提升为普适语义真理。

Cyril Cleverdon 与 Cranfield 团队建立了关键测试材料和评测纪律，提供文档、问题与相关性判断。Spärck Jones 使用了这套基础，而不是发明了 Cranfield。她在 1988 年 SIGIR 获奖演讲中回顾，分类方法听起来合理还不够，必须证明它确实改善检索。

思想起点还包括 Margaret Masterman 领导的 Cambridge Language Research Unit。该团队围绕叙词表、词共现与自动分类研究语言处理，Roger Needham 的分类工作也属于这条脉络。Martin Kay 与 Spärck Jones 合著过自动语言处理综述及《Linguistics and Information Science》，但现有材料并不把 1972 年 IDF 方案归于 Kay。此后的 Stephen Robertson 与她共同发展相关性权重和概率检索模型，进一步形成与 BM25 相关的理论谱系。个人突破、测试基础与后续模型都应分别署名。

四条不能越过的线

第一，稀有不等于重要。拼写错误、随机编号、垃圾片段和一次性假话都可能很少见；决定主题的常见词反而可能得到低权重。

第二，稀有不等于相关。相关性连接查询、文档与人的信息需求。IDF 能帮助排序候选，却不能替代相关性判断。

第三，稀有不等于权威或真实。一个错误只出现一次，并不会因此更可靠；一个事实被许多可信来源反复陈述，也不会因此变假。

第四，权重不能无条件跨集合搬用。语言、时间窗口、去重、文档边界和分词策略改变，N 与 n 就会改变。真正可辩护的说法只能是：在集合 C 的时间 T 快照中，按规则 R，这个词相对少见。

IDF 的持久价值来自克制。它回答集合内部的区分问题，计算便宜、容易重现，也常能改善检索。把它夸大为真伪探测器，反而背离了 Spärck Jones 最重要的统计洞见。

主要来源