摘要

  • Internet Archive 的回顾资料将首批网页爬虫的启动时间定在 1996 年 10 月；早期程序从网站首页出发，沿链接采集页面。
  • 1996 年已经有与选举项目有关的网页在线。2001 年，Wayback Machine 才让公众按网址和日期检索范围更大的历史收藏。
  • 留下什么记录，取决于爬虫能到达哪里、项目如何选取内容，以及访问和删除规则如何设置。

档案先于搜索界面

Wayback Machine 常被当成一个单一产品、一个单一日期来讲述。但网页采集与让公众找到采集结果，是两项不同的工作。Internet Archive 在这两个节点之间相隔了五年。

Internet Archive 于 2021 年发布的回顾资料，将首批网页爬虫的启动时间定在 1996 年 10 月。页面收录了首次采集期间拍摄的影像：创办人 Brewster Kahle 介绍当时的设备，早期工具是从网站首页开始、再沿着链接前进的个人电脑程序。这是为快速变化的网络留下记录的初期方法，还不是后来熟悉的按网址和日期检索服务。[1]

收藏也并非在这段时间完全不对外。1996 年 9 月，The Washington Post 报道 Internet Archive 正与 Smithsonian Institution 合作，收集与当年美国总统选举有关的网站；该项目的一部分内容已经能在 archive.org 查看。报道同时指出，Kahle 尚未决定如何向公众开放更广泛的档案，隐私和版权问题仍待处理。[2]

因此，不能把这段历史写成“1996 至 2001 年完全封闭”。项目页面曾经上线。真正缺少的是公众检索更大规模网页收藏的通用入口。

2001 年 10 月 24 日：从采集走向检索

在成立五周年之际，Internet Archive 于 UC Berkeley 的 Bancroft Library 发布 Wayback Machine。公告称，公众第一次可以检索和浏览更大的网页收藏；当时收录超过 100 亿个、可追溯至 1996 年的网页。用户输入网址、选择日期，便能打开保存的页面版本。[3]

界面改变了收藏的用途。使用者不再需要属于某个曾经挑选页面的合作项目，只要知道网址，就可以比较可查到的版本。爬虫积累的资料于是成为历史研究、新闻调查、回忆和核对旧网页内容的工具。

次日，Los Angeles Times 描述了发布时的技术规模：自动化机器人、约 300 台改装的 Hewlett-Packard 电脑，以及超过 100 TB 的数据。报道还说，当时大约每两个月更新一次。它也指出采集边界：密码保护或阻止爬虫的网页不会被采集；网站经营者提出异议时，档案会删除相关内容。[4] 这些是 2001 年报道的数据与规则，并不代表今天的系统。

可查到的记录，不是完整重放

公众搜索并没有把 Wayback 变成整个互联网的完整复制品。它开放的是系统实际采集并保留下来的页面。爬虫可能错过链接、动态内容、表单背后的页面，或无法访问的资源。界面上的日期意味着有一份可查的快照，不代表那一刻所有访客看到的站点都完全一致。

1996 年与 2001 年的报道还说明，开放方式是一项机构决策。早期，选举项目的一部分页面已经上线，但更广泛的开放方式尚未确定；2001 年，公众获得了对大规模收藏的通用搜索，版权和隐私问题仍然存在。采集、发布和删除是不同的控制环节。

卢恒第 72 篇笔记提出一个可借用的分析视角：记录描述现实，却不会创造现实。[5] 放在这里，一页存档只能证明某次采集保存了什么，不能等同于完整恢复当时运行中的互联网。明确这条边界，反而能让 Wayback 对历史研究更有用：读者可以知道一份快照能证明什么，也知道还需要哪些旁证。

资料来源

  1. Internet Archive，《The Wayback Machine's First Crawl 1996》，含 1996 年影像的回顾资料：https://archive.org/details/wayback-machine-1996
  2. The Washington Post，《In California, Creating a Web of the Past》，1996 年 9 月 22 日：https://www.washingtonpost.com/archive/business/1996/09/22/in-california-creating-a-web-of-the-past/c336cffa-8240-4028-b488-b9a62161337f/
  3. Internet Archive，2001 年 10 月 24 日公告《Internet Archive launches wayback machine》，由 Library Technology Guides 转录：https://librarytechnology.org/pr/9384/internet-archive-launches-wayback-machine-free-service-enables-users-to-access-archived-versions-of-web-sites-dating-from-1996
  4. Los Angeles Times，《Net Archive Turns Back 10 Billion Pages of Time》，2001 年 10 月 25 日：https://www.latimes.com/archives/la-xpm-2001-oct-25-mn-61513-story.html
  5. 卢恒，第 72 篇笔记《The Bill of Rights of Uniqueness Coordination》（仅作编辑分析视角，不是历史证据）：https://heng.lu/the-bill-of-rights-of-uniqueness-coordination/