Résumé

  • Dans son article de conférence de 1994, Brian Pinkerton décrit l'index public de WebCrawler : près de 50 000 documents sur plus de 9 000 serveurs, plus de 6 000 requêtes quotidiennes et une mise à jour hebdomadaire.
  • Le même logiciel possédait un mode de recherche en temps réel : partir de l'index, suivre des liens inconnus, ajouter les pages trouvées et relancer la requête. Pinkerton précise que ce mode restait inaccessible au public, car une exploration propre à chaque utilisateur aurait multiplié les accès au réseau.

Un catalogue payé une fois

Une recherche sur le Web peut payer ses lectures à l'avance ou attendre qu'une question précise les exige. Le premier choix construit un catalogue partagé. Le second donne à chacun un éclaireur qui parcourt des pages extérieures au moment de la demande. WebCrawler savait faire les deux. La page ouverte aux internautes proposait le premier choix : une base déjà constituée, dans laquelle chaque requête cherchait des mots et des adresses.

L'exposé original de Pinkerton décrit un index volontairement incomplet. Le robot parcourait les liens de façon large et accordait rapidement une première visite à chaque nouveau serveur découvert, avant d'explorer davantage un serveur déjà connu. Il conservait à la fois les mots des documents et une représentation des liens entre documents et serveurs. À chaque page récupérée, il marquait le passage, extrayait les liens sortants et indexait le titre ainsi que le corps du texte. Le serveur de recherche répondait ensuite depuis cette mémoire commune.

Pinkerton indique près de 50 000 documents répartis sur plus de 9 000 serveurs, plus de 6 000 recherches quotidiennes et une mise à jour de l'index chaque semaine. Ces chiffres sont la photographie de son service au moment de l'article, pas une mesure de tout le Web. Le catalogue restait troué : une nouvelle page pouvait attendre la prochaine collecte, et une page profonde pouvait ne jamais entrer dans la sélection. En échange, des milliers de questions pouvaient exploiter un même téléchargement initial.

Indexer le corps des pages changeait la qualité de ce catalogue. Parmi les documents visités, Pinkerton dit que 20 % n'avaient pas de titre. Un moteur qui ne lisait que les titres perdait l'accès à leur contenu et dépendait de noms parfois pauvres. La lecture du texte entier demandait du stockage et des calculs locaux, mais elle évitait de revisiter le serveur d'origine pour chaque nouveau mot recherché. Le coût du crawl se répartissait entre de nombreux lecteurs.

L'éclaireur qui restait au laboratoire

L'autre mode de WebCrawler partait des résultats de l'index liés à la requête du moment. Il suivait ensuite leurs liens inexplorés, récupérait de nouvelles pages, les ajoutait à la base et calculait de nouveau les résultats. Une page récemment trouvée, si elle paraissait pertinente, pouvait ouvrir une nouvelle branche. La course s'arrêtait quand assez de documents similaires avaient été trouvés ou quand le temps imparti finissait. Pinkerton testait aussi les mots des ancres de liens pour choisir une direction plus prometteuse qu'un parcours aveugle.

Le procédé avait un attrait évident : les trous du catalogue devenaient des pistes à explorer, guidées par la question du lecteur. Pinkerton écrivait que ses essais étaient rapides et bien orientés. Il ajoutait une limite déterminante : ces recherches en temps réel n'étaient pas offertes au public. Les 6 000 requêtes quotidiennes de son service public interrogeaient l'index, elles ne lançaient pas chacune un robot privé. Confondre les deux efface la décision économique qui rendait le service exploitable.

En mode indexation, le robot répartissait ses visites entre serveurs. Le document explique qu'un serveur pouvait voir une requête de collecte à plusieurs heures d'intervalle dans un parcours étendu. Le résultat était ensuite partagé entre les lecteurs. En mode individuel, des agents allaient chercher des pages pour la réponse d'une seule personne. Répétée par des dizaines de milliers d'utilisateurs, l'opération pouvait charger les mêmes serveurs encore et encore, sans mutualiser les résultats. Pinkerton jugeait cette recherche déclenchée par le client impraticable à grande échelle sur le réseau disponible.

Il y avait un véritable sacrifice éditorial dans cette retenue technique. Le catalogue hebdomadaire pouvait manquer une page fraîche. Le robot à la demande pouvait la découvrir en suivant un lien approprié. Mais la fraîcheur obtenue pour chaque lecteur aurait été réglée par les machines qui hébergeaient ces pages. Pinkerton envisageait de partager les découvertes des clients avec l'index principal : ainsi, une exploration particulière pourrait servir plus tard à d'autres. L'idée montrait où se trouvait le problème, même si elle n'ouvrait pas immédiatement le second mode au public.