要約

  • Internet Archiveの回顧資料によれば、最初のウェブ・クローラーが動き始めたのは1996年10月。初期の仕組みはサイトのトップページからリンクをたどるものだった。
  • 1996年には選挙関連のページが一部オンラインで閲覧できた。2001年にはWayback Machineが公開され、より広い収蔵資料をURLと日付で検索できるようになった。
  • 保存記録の範囲は、クローラーが到達できる場所、収集対象の選定、公開と削除のルールによって形づくられる。

検索画面より先に収集が始まった

Wayback Machineの歴史は、しばしば一つの発明と一つの日付にまとめられる。しかし、ページを集めることと、誰もがそれを見つけられるようにすることは別の仕事だ。Internet Archiveでは、その二つの節目に5年の隔たりがあった。

Internet Archiveが2021年に公開した回顧資料は、最初のウェブ・クローラーの稼働開始を1996年10月としている。資料には最初の収集が進行していた当時の映像も含まれ、創設者Brewster Kahleが、サイトのトップページからリンクをたどるPC用アプリケーションについて説明している。急速に変化するウェブを記録する初期の方法であり、現在知られるURL・日付検索サービスが完成していたわけではない。[1]

収蔵資料が完全に非公開だったわけでもない。1996年9月のThe Washington Postは、Internet ArchiveがSmithsonian Institutionと協力して同年の米大統領選に関するウェブサイトを集めていたと報じた。そのプロジェクトの一部はarchive.orgで公開済みだった。一方、Kahleはより広いアーカイブをどう一般公開するかをまだ決めておらず、プライバシーと著作権の問題も残っていたという。[2]

したがって、この5年間を「すべて非公開だった」と説明するのは正確ではない。特定のプロジェクト資料は閲覧できた。まだ存在しなかったのは、広い収蔵資料をURLと日付から検索する一般向けの入口だった。

2001年10月24日、何が変わったのか

創設5周年にあたり、Internet ArchiveはUC BerkeleyのBancroft LibraryでWayback Machineを発表した。発表文は、一般の人が初めて大規模な収蔵資料を検索・閲覧できるようになったと説明し、1996年までさかのぼる100億ページ超を掲げた。使い方は、URLを入力し、日付を選び、保存されたページを閲覧するというものだった。[3]

変化は単なる保存容量の増加ではない。ページを選んだプロジェクトに参加していなくても、URLを知っていれば残された版を比較できるようになった。クローラーが積み上げた資料は、調査、報道、記憶、過去のウェブ上の発言を確かめるための道具へと変わった。

翌日のLos Angeles Timesは、当時の規模として自動ボット、改造したHewlett-Packard製デスクトップ約300台、100テラバイト超のデータを伝えた。更新間隔はおよそ2か月とされる。パスワード保護されたページやボットを拒むページは収集されず、運営者から異議があれば削除すると報じられた。[4] いずれも2001年時点の報道であり、現在のシステムの説明ではない。

保存されたページが示す範囲

公開検索によって、ウェブ全体が完全に再現されたわけではない。アクセスでき、収集され、保存されたページが検索対象になった。クローラーがリンクを見逃したり、動的な動作、フォームの先、取得できない資源を保存できなかったりすることもある。日付が表示されることは、その時点の記録が取得できるという意味で、すべての利用者が同じ画面を見た証明ではない。

1996年と2001年の報道は、公開の範囲が組織の判断でもあったことを示している。初期には特定の選挙プロジェクトのページが公開されていた一方、一般向けの全体アクセスは未定だった。2001年には広い収蔵資料の検索が公開されたが、著作権やプライバシーの論点は残った。収集、公開、削除はそれぞれ別の制御点である。

Heng LuのNote 72には、記録は現実を記述するが、現実そのものを作るわけではない、という見方がある。[5] これは解釈のための視点であり、Internet Archiveの歴史的証拠ではない。ここに当てはめれば、保存ページは特定の収集が何を残したかの証拠であり、当時のウェブ全体を再現するものではない。その境界を明示することで、Wayback Machineが歴史研究に何を示せるかが明確になる。

出典

  1. Internet Archive「The Wayback Machine's First Crawl 1996」、1996年の映像を含む回顧資料：https://archive.org/details/wayback-machine-1996
  2. The Washington Post「In California, Creating a Web of the Past」、1996年9月22日：https://www.washingtonpost.com/archive/business/1996/09/22/in-california-creating-a-web-of-the-past/c336cffa-8240-4028-b488-b9a62161337f/
  3. Internet Archive「Internet Archive launches wayback machine」、2001年10月24日付発表、Library Technology Guidesによる転載：https://librarytechnology.org/pr/9384/internet-archive-launches-wayback-machine-free-service-enables-users-to-access-archived-versions-of-web-sites-dating-from-1996
  4. Los Angeles Times「Net Archive Turns Back 10 Billion Pages of Time」、2001年10月25日：https://www.latimes.com/archives/la-xpm-2001-oct-25-mn-61513-story.html
  5. Heng Lu、Note 72「The Bill of Rights of Uniqueness Coordination」（編集上の視点のみ。歴史的証拠ではない）：https://heng.lu/the-bill-of-rights-of-uniqueness-coordination/