Кратко

  • Internet Archive датирует запуск первых веб-обходчиков октябрём 1996 года; ранние программы переходили по ссылкам с главной страницы сайта.
  • Часть страниц проекта об американских выборах 1996 года уже была доступна онлайн. В 2001 году Wayback Machine открыла публичный поиск по адресу и дате для более широкой коллекции.
  • Состав архива зависел от доступности страниц для обходчика, выбора проектов и правил доступа и удаления.

Сбор начался раньше, чем публичный поиск

Историю Wayback Machine часто сводят к одному продукту и одному году рождения. Но собирать страницы и давать людям возможность их находить — разные задачи. В истории Internet Archive эти этапы разделили пять лет.

В ретроспективе 2021 года Internet Archive относит запуск первых веб-обходчиков к октябрю 1996-го. В публикации есть кадры первой операции сбора: основатель Brewster Kahle рассказывает о простых программах для ПК, которые начинали с главной страницы и переходили по ссылкам. Это был ранний способ сохранить свидетельства быстро меняющейся Сети, но ещё не привычный поиск Wayback Machine по URL и дате.[1]

Коллекция в те годы не была полностью закрыта. В сентябре 1996 года The Washington Post сообщила, что Internet Archive вместе с Smithsonian Institution собирал сайты об американских президентских выборах того года. Часть этого проектного собрания уже размещалась на archive.org. Издание также писало, что Kahle ещё не решил, как открыть широкую коллекцию для публики, а вопросы конфиденциальности и авторского права оставались нерешёнными.[2]

Поэтому неверно описывать пятилетний промежуток как полное отсутствие публичного доступа. Некоторые страницы отдельных проектов можно было открыть. Не было общего инструмента, который позволял бы любому искать в более широкой коллекции по адресу сайта и дате сохранения.

Что изменилось 24 октября 2001 года

К пятилетию Internet Archive представила Wayback Machine в Bancroft Library при UC Berkeley. В пресс-релизе говорилось, что теперь публика впервые может искать и просматривать более широкое собрание. Его объём оценивался более чем в десять миллиардов страниц с датами начиная с 1996 года. Пользователю предлагалось ввести адрес, выбрать дату и открыть сохранённую версию.[3]

Это был не просто прирост объёма хранения. Человек, знавший адрес сайта, мог сравнить доступные версии, не участвуя в проекте, который отобрал страницы. Накопленные обходчиками копии стали инструментом для исследований, журналистики, памяти и проверки прежних заявлений на сайтах.

На следующий день Los Angeles Times описала инфраструктуру, о которой сообщалось при запуске: автоматические боты, около 300 модифицированных компьютеров Hewlett-Packard и более 100 терабайт данных. По данным газеты, обновление происходило примерно раз в два месяца. Репортаж также обозначил границы сбора: страницы за паролем или блокировавшие ботов не сохранялись, а по просьбе владельца сайт удаляли.[4] Это оценки и правила периода запуска, а не описание нынешней системы.

Снимок не восстанавливает весь сайт

Публичный поиск не превратил Wayback в полную копию Интернета. Он открыл то, до чего смог добраться сборщик и что удалось сохранить. Обходчик мог пропустить ссылки, не сохранить динамическое поведение, формы или недоступные ресурсы. Дата в интерфейсе подтверждает наличие доступного снимка, но не то, что каждый посетитель видел в тот момент одну и ту же страницу.

Материалы 1996 и 2001 годов показывают, что доступ был и институциональным решением. Сначала онлайн появились отдельные страницы выборного проекта, тогда как общий порядок доступа ещё обсуждался. В 2001 году публичным стал поиск по более широкой коллекции, хотя вопросы конфиденциальности и авторского права никуда не исчезли. Сбор, публикация и удаление были разными точками контроля.

В Note 72 Heng Lu предлагает полезный взгляд: запись описывает реальность, но не создаёт её.[5] Здесь это только редакционная оптика, а не историческое свидетельство об Internet Archive. Сохранённая страница показывает, что именно оставил конкретный снимок; она не восстанавливает всю работавшую тогда Сеть. Такая оговорка помогает точнее понять, что Wayback может доказать, а где нужны другие источники.

Источники

  1. Internet Archive, “The Wayback Machine's First Crawl 1996”, ретроспектива с кадрами 1996 года: https://archive.org/details/wayback-machine-1996
  2. The Washington Post, “In California, Creating a Web of the Past”, 22 сентября 1996 года: https://www.washingtonpost.com/archive/business/1996/09/22/in-california-creating-a-web-of-the-past/c336cffa-8240-4028-b488-b9a62161337f/
  3. Internet Archive, пресс-релиз “Internet Archive launches wayback machine” от 24 октября 2001 года, перепечатан Library Technology Guides: https://librarytechnology.org/pr/9384/internet-archive-launches-wayback-machine-free-service-enables-users-to-access-archived-versions-of-web-sites-dating-from-1996
  4. Los Angeles Times, “Net Archive Turns Back 10 Billion Pages of Time”, 25 октября 2001 года: https://www.latimes.com/archives/la-xpm-2001-oct-25-mn-61513-story.html
  5. Heng Lu, Note 72, “The Bill of Rights of Uniqueness Coordination” (только редакционная оптика, не исторический источник): https://heng.lu/the-bill-of-rights-of-uniqueness-coordination/