摘要

  • ALIWEB 把“描述哪些资源”的决定交给各信息提供者，同时把收集和检索保留在中心服务中。
  • 1994 年的试运行说明，其他目录可以利用小型索引；它并不能证明 ALIWEB 覆盖了整个 Web 或被广泛采用。

到 1993 年末，问题已不只是如何把文档放上 Web，还包括如何找到它。人工目录能提供背景，却难以及时追踪每次迁移和每项新服务。爬虫可以发现更多页面，但会反复请求服务器，也可能把一组资源原有的结构拆散。网络需要一种比逐站浏览省事、又比抓取每个可达页面克制的办法。

1993 年 11 月 30 日，Martijn Koster 将 ALIWEB 介绍为一种“分布式”Web 索引实验：每个服务器在本地文件中公布自己的内容，由一个站点自动取回并处理这些文件，合并后的数据库则可以通过 Web 搜索。Koster 后来的会议论文称，NEXOR 上的试运行早在同年 10 月就已开始。他在11月30日的公告中把它称为第一步，而非最终方案，并提出一个耐人寻味的承诺：更好的机制出现时，这些数据应当容易复用或转换。

这一承诺揭示了它的权力边界。ALIWEB 并未把搜索服务本身分散出去，而是把索引的编写权分给了信息提供者。网站管理员选择哪些文档和服务值得列出，并写下描述；ALIWEB 的运营方保留参与服务器清单，安排取回时间，检查格式，把合格条目合并起来，并运行搜索界面。提供者描述自己的网站；中心服务决定这份描述通过什么路径进入跨站检索。

输入通常是名为 /site.idx 的预制文本文件，采用 Internet Anonymous FTP Archives（IAFA）的模板。一个文件可以包含多个对象的属性和值，例如模板类型、标题、URI、描述和关键词。ALIWEB 并不试图从每个网页的标记中推断其含义，而是让熟悉本站结构的人挑选入口，同时保留站点内部的组织方式。Koster 展示的示例描述了 NEXOR 的 Perl 资料和手册，并非服务器上的每个文件。

参与仍需遵守一套小型操作约定。管理员通过 Web 表单登记服务器、端口和索引路径，留下负责人的联系方式，还可以设定两次抓取之间的最短间隔。ALIWEB 会先检查文件是否存在、格式是否有效，再接受登记。另一个独立的 Perl 进程定期检查登记项目，获取变更过的文件，并由 UNIX cron 调度重建总数据库。用户既可以访问 ALIWEB 自己的搜索表单，也可以通过其他目录查询，包括 CUI W3 Catalog。

它与遍历整个 Web 的爬虫区别在于工作量和输入边界，而不是是否自动化。ALIWEB 自动收集并合并数据，但只取回指定的索引文件，不沿着站点的每个链接下载所有可达文档。这样减少了流量，也保留了提供者的上下文。代价是：一页若未被写入索引，即使爬虫可以到达，也可能在检索中不可见。搜索结果的新鲜程度取决于提供者维护文件的状况，中心端定期抓取并不能单独保证它。

Koster 报告的试运行数字同时呈现了服务和边界：当时有 54 个主机登记，数据库中有 310 条记录。ALIWEB 的简单搜索界面平均每天收到 80 次查询；CUI W3 Catalog 每周调用其数据库超过 8,000 次。这说明服务确实运行，也有一项有用的系统集成，却不能证明它覆盖了多少 Web、结果质量如何，或有多少网站愿意维护有效索引。

接入问题很快显现。有些人登记了主机，却没有提供索引文件；Koster 认为，他们可能先进入表单，却没有理解 ALIWEB 的用法。团队于是扩充说明，并在登记时立即检查文件存在与格式。文件错误仍会发生，系统会记录错误，再由人工运行的脚本通知负责人。这不是“无需维护”的分布式方案，而是把劳动从遍历每个网页转为制作、校验和更新一份经过选择的索引。

“人工维护”也不等于每一行都必须永远手工输入。Koster 认为软件可以生成索引文件，前提是保留足够的描述性元数据，让用户能够筛选。1995 年，另一个档案项目记录了 IAFA 模板如何随文件系统变化更新，并生成文本、Gopher 和 HTML 索引。那篇第四届 WWW 会议论文说明同一模板思路可以服务不同界面；它不能证明 ALIWEB 的数据集真的迁移，或该服务后来获得广泛采用。

规模是第二道边界。Koster 承认，一个覆盖整个 Web 的单一数据库可能变得过大。他提出了几种扩展路径：把索引收集分布到多台机器、镜像搜索入口、按主题拆分数据库，或者建立 ALIWEB 服务层级。他还预计索引文件未来可以自动转为其他目录系统的格式。这些只是论文里的规划，并非已经部署的功能；其历史意义在于，文件格式被设想为可以比中心收集器活得更久。

1994 年的网络信息检索综述仍将这一领域描述为早期阶段，分类控制等能力尚不普遍。ALIWEB 与人工索引、CUI W3 Catalog，以及 JumpStation 和 RBSE URL 数据库等自动抓取方法并存；它不是第一个 Web 检索工具。它更具体的贡献，是演示如何自动收集由资源提供者自行挑选的描述，并让其他系统复用。

Heng Lu 后来的第 65 篇笔记《运行代码优先》可以作为回顾性的分析视角，但不是 Koster 思想的证据：格式可以提出可迁移的设想，只有实际运行并采用它的系统才能让这种能力成为现实。论文记录了 ALIWEB 的试运行，也记录了 W3 Catalog 使用其数据库；它没有证明普遍采用、对 Web 发布者拥有约束力，或完成了数据迁移。由此看，关键是区分三种权力：提供者决定自己的网站如何描述；ALIWEB 决定哪些描述进入共享索引；未来系统则可以复用文件，而不必继承试运行中的中心服务。