요약

  • Internet Archive의 회고 자료는 최초의 웹 크롤러를 1996년 10월로 기록하고 있습니다. 초기 도구는 사이트의 홈페이지에서 시작해 링크를 따라가는 방식이었습니다.
  • 1996년 선거 관련 제한된 수집 자료는 이미 온라인에서 이용 가능했습니다. 2001년 10월의 Wayback Machine 공개로 더 큰 역사적 수집 자료를 일반인이 URL과 날짜로 검색할 수 있게 되었습니다.
  • 아카이브의 기록은 언제나 크롤러가 도달할 수 있었던 범위, 기관이 선별한 항목, 접근 및 삭제 규칙이 허용한 범위에 따라 형성되었습니다.

공개 검색창이 있기 전에 아카이브는 이미 존재했다

Wayback Machine은 흔히 하나의 탄생일을 가진 단일 발명처럼 다뤄집니다. 그러나 그것은 서로 다른 두 가지 일을 압축한 것입니다. 웹 크롤러는 사본을 모으고, 공개 인터페이스는 사람들이 그 사본을 찾아 다시 볼 수 있게 합니다. Internet Archive의 역사에서 이 두 이정표는 5년의 간격을 두고 지나갔습니다.

2021년 회고 자료에서 Internet Archive는 최초의 웹 크롤러를 1996년 10월에 가동했다고 기록합니다. 해당 자료에는 첫 크롤링 당시 촬영된 영상이 포함되어 있으며, 설립자 Brewster Kahle은 사이트의 메인 페이지에서 시작해 링크를 따라가며 페이지를 수집하는 PC 애플리케이션이라는 소박한 구성을 설명합니다. 이것은 빠르게 변하는 매체의 기록을 만들기 위한 초기 방법이었지, 아직 익숙한 URL과 날짜 기반 검색 서비스는 아니었습니다.[1]

그 시스템이 발전하는 동안에도 수집 자료가 완전히 숨겨져 있었던 것은 아닙니다. 1996년 9월 The Washington Post의 보도는 Internet Archive가 Smithsonian Institution과 함께 그해 대통령 선거 웹사이트에 관해 작업했으며, 그 프로젝트 수집 자료의 일부가 이미 archive.org에서 이용 가능했다고 전합니다. 동시에 Kahle은 더 큰 아카이브 전체를 어떻게 공개할지 아직 결정하지 못한 상태였습니다. 프라이버시와 저작권 문제는 처음부터 이 과제의 일부였습니다.[2]

이 구분이 중요합니다. “아카이브는 1996년에 시작했다”와 “Wayback Machine은 2001년에 열렸다”는 서로 경쟁하는 날짜가 아닙니다. 전자는 수집 작업을 설명하고, 후자는 더 큰 캡처 자료 전체를 위한 공개 검색층을 설명합니다. 초기 선거 자료는 프로젝트 단위의 접근이 일반 인터페이스보다 앞섰음을 보여줍니다.

2001년 10월 24일 무엇이 달라졌나

Internet Archive는 5주년에 맞춰 UC Berkeley의 Bancroft Library에서 Wayback Machine을 발표했습니다. 보도자료는 일반인이 처음으로 더 큰 수집 자료를 검색하고 열람할 수 있게 되었다고 밝히며, 1996년으로 거슬러 올라가는 100억 페이지가 넘는 자료를 설명하고, 사용자에게 URL을 입력하고 날짜를 선택해 저장된 버전을 탐색하도록 안내했습니다.[3]

따라서 이 변화는 단순히 저장 용량의 확대가 아니었습니다. 크롤링과 특정 협업을 통해 구축되었던 수집 자료가, 웹 주소를 아는 누구에게나 탐색 가능하게 된 것입니다. 누군가는 해당 사이트가 캡처되도록 만든 프로젝트에 소속되지 않고도 사이트의 여러 버전을 비교할 수 있었습니다. 이것은 보존된 페이지를 연구, 저널리즘, 기억, 그리고 어떤 기관이 이전에 온라인에서 무엇을 보여줬는지 확인하는 도구로 바꿔놓았습니다.

Los Angeles Times는 다음 날, 아카이브가 자동화된 봇에 의존했으며 당시 규모는 100테라바이트 이상을 저장하는 약 300대의 개조된 Hewlett-Packard 데스크톱 컴퓨터였다고 보도했습니다. 이 보도는 아카이브가 대략 두 달 주기로 갱신되었다고도 전합니다. 또한 명확한 한계도 보도했습니다. 비밀번호 뒤에 있거나 봇을 차단한 페이지는 캡처되지 않았고, 운영자가 반대하면 해당 사이트를 삭제했다는 것입니다.[4] 이는 당시 시점의 세부사항이며, 오늘날 시스템에 대한 설명이 아닙니다.

경계가 있는 공개 기록

공개 인터페이스는 웹을 완전한 재생으로 바꾸지 않았습니다. 그것은 Archive가 수집하고 보존한 것을 드러냈을 뿐입니다. 크롤링은 페이지, 동적 동작, 폼 뒤의 자료, 봇이 도달할 수 없는 리소스를 놓칠 수 있었습니다. 달력의 날짜는 하나의 캡처가 있었음을 표시할 뿐, 그 순간 모든 방문자가 같은 사이트를 봤다는 증거가 아닙니다.

1996년과 2001년의 기록은 접근이 기관의 선택이었음도 보여줍니다. 1996년 프로젝트는 일부 페이지가 온라인에 올라와 있었지만 더 넓은 공개 접근은 여전히 미정이었고, 2001년 서비스는 수집 전체 검색을 열었지만 저작권과 프라이버시 우려는 여전히 드러나 있었습니다. 캡처, 게시, 삭제는 별개의 통제 지점이었습니다. 이를 하나의 사건으로 묶으면 기술적 한계와 공개적 결과가 모두 가려집니다.

Lu Heng의 Note 72는 유용한 해석의 틀을 제공합니다. 기록은 현실을 기술하지만 현실을 만들어내지는 않는다는 것입니다.[5] 이를 여기에 적용하면, 아카이브된 페이지는 특정 캡처가 보존한 것에 대한 증거입니다. 그것은 생중계된 웹 전체를 온전히 재구성한 것이 아닙니다. 이 구분은 Wayback Machine을 역사가들에게 오히려 더 유용하게 만듭니다. 스냅샷이 무엇을 증명할 수 있고 어디에서 다른 출처가 필요한지 명확히 해주기 때문입니다.

출처

  1. Internet Archive, “The Wayback Machine's First Crawl 1996,” 1996년 영상을 포함한 회고 자료:https://archive.org/details/wayback-machine-1996
  2. The Washington Post, “In California, Creating a Web of the Past,” 1996년 9월 22일:https://www.washingtonpost.com/archive/business/1996/09/22/in-california-creating-a-web-of-the-past/c336cffa-8240-4028-b488-b9a62161337f/
  3. Internet Archive, “Internet Archive launches wayback machine,” 2001년 10월 24일자 보도자료, Library Technology Guides가 재게시:https://librarytechnology.org/pr/9384/internet-archive-launches-wayback-machine-free-service-enables-users-to-access-archived-versions-of-web-sites-dating-from-1996
  4. Los Angeles Times, “Net Archive Turns Back 10 Billion Pages of Time,” 2001년 10월 25일:https://www.latimes.com/archives/la-xpm-2001-oct-25-mn-61513-story.html
  5. Lu Heng, Note 72, “The Bill of Rights of Uniqueness Coordination” (해설적 관점일 뿐, 역사적 증거 아님):https://heng.lu/the-bill-of-rights-of-uniqueness-coordination/