Résumé

  • Internet Archive situe le lancement de ses premiers crawlers en octobre 1996, au début d’un travail de collecte par liens.
  • Une sélection liée à l’élection américaine de 1996 était déjà accessible en ligne. En 2001, la Wayback Machine a rendu la collection plus vaste consultable par adresse et par date.
  • Le contenu conservé dépend de ce que les crawlers atteignent, des projets retenus et des règles d’accès ou de retrait.

Une collection avant un moteur de recherche

La Wayback Machine est souvent associée à une seule date de naissance. Pourtant, conserver des pages et permettre au public de les retrouver sont deux opérations différentes. Internet Archive les a séparées de cinq ans.

Dans une rétrospective publiée en 2021, Internet Archive date ses premiers crawlers d’octobre 1996. La page présente des images tournées pendant cette première collecte et montre Brewster Kahle décrivant des applications pour PC qui partaient de la page d’accueil d’un site, puis suivaient ses liens. Cette méthode posait les bases d’un relevé historique ; elle n’était pas encore le service de recherche Wayback connu aujourd’hui.[1]

La collection n’était pas entièrement invisible pendant sa constitution. En septembre 1996, The Washington Post rapportait qu’Internet Archive travaillait avec Smithsonian Institution à la collecte de sites consacrés à l’élection présidentielle américaine. Une partie de ce fonds de projet était déjà disponible sur archive.org. Le quotidien indiquait aussi que Kahle n’avait pas encore arrêté les modalités d’accès général et que les questions de vie privée et de droit d’auteur restaient ouvertes.[2]

Il faut donc éviter une opposition trop simple entre « privé » et « public ». En 1996, certains contenus issus d’une collaboration étaient consultables. Ce qui manquait, c’était un moyen public de rechercher l’ensemble beaucoup plus large des captures par URL et par date.

Le tournant du 24 octobre 2001

Pour son cinquième anniversaire, Internet Archive a présenté la Wayback Machine à la Bancroft Library de UC Berkeley. Son communiqué annonçait que le public pouvait désormais rechercher et consulter la collection étendue. Il évoquait plus de dix milliards de pages remontant à 1996 et décrivait une navigation simple : saisir une URL, choisir une date, puis ouvrir une version conservée.[3]

Cette interface changeait l’usage de la collection. Les chercheurs n’avaient plus besoin d’appartenir à un projet qui avait sélectionné les pages. Toute personne connaissant une adresse pouvait comparer les versions accessibles. Une archive accumulée par des crawlers devenait ainsi un outil pour l’étude, le journalisme, la mémoire et la vérification de déclarations publiées sur un site.

Le quotidien Los Angeles Times décrivait le lendemain le dispositif technique rapporté à l’époque : des bots, environ 300 ordinateurs Hewlett-Packard modifiés et plus de 100 téraoctets de données. Le journal parlait d’une mise à jour tous les deux mois environ. Il signalait aussi les limites de la collecte : les pages protégées par mot de passe ou bloquant les bots n’étaient pas saisies, et Internet Archive retirait un site à la demande de son exploitant.[4] Ces chiffres et règles appartiennent au reportage de 2001 ; ils ne décrivent pas le système actuel.

Un relevé, pas le Web reconstitué

La recherche publique n’a pas transformé Wayback en reproduction intégrale du Web. Elle donne accès aux pages effectivement collectées et conservées. Un crawler peut manquer des liens, des contenus dynamiques, des ressources derrière un formulaire ou des éléments qu’il ne peut pas atteindre. Une date affichée prouve une capture disponible, pas que chaque visiteur voyait exactement la même chose à cet instant.

Les récits de 1996 et de 2001 montrent aussi que l’accès relevait d’un choix institutionnel. Au début, un fonds électoral précis était en ligne tandis que les modalités d’ouverture plus générale restaient incertaines. En 2001, la recherche de la collection étendue s’ouvrait au public alors que les enjeux de droit d’auteur et de vie privée n’avaient pas disparu. La collecte, la publication et le retrait sont trois points de contrôle distincts.

La Note 72 de Heng Lu propose un éclairage utile : un registre décrit la réalité, il ne la crée pas.[5] Ici, une page archivée témoigne de ce qu’une capture a conservé. Elle ne constitue pas à elle seule une reconstitution complète du Web vivant. Cette précision renforce la valeur historique de Wayback en indiquant exactement ce qu’une capture peut — et ne peut pas — établir.

Sources

  1. Internet Archive, « The Wayback Machine's First Crawl 1996 », rétrospective avec images de 1996 : https://archive.org/details/wayback-machine-1996
  2. The Washington Post, « In California, Creating a Web of the Past », 22 septembre 1996 : https://www.washingtonpost.com/archive/business/1996/09/22/in-california-creating-a-web-of-the-past/c336cffa-8240-4028-b488-b9a62161337f/
  3. Internet Archive, « Internet Archive launches wayback machine », communiqué du 24 octobre 2001, reproduit par Library Technology Guides : https://librarytechnology.org/pr/9384/internet-archive-launches-wayback-machine-free-service-enables-users-to-access-archived-versions-of-web-sites-dating-from-1996
  4. Los Angeles Times, « Net Archive Turns Back 10 Billion Pages of Time », 25 octobre 2001 : https://www.latimes.com/archives/la-xpm-2001-oct-25-mn-61513-story.html
  5. Heng Lu, note 72, « The Bill of Rights of Uniqueness Coordination » (éclairage éditorial uniquement, pas une source historique) : https://heng.lu/the-bill-of-rights-of-uniqueness-coordination/