Resumen

  • El documento de Brian Pinkerton de 1994 describe un índice público con casi 50.000 documentos alojados en más de 9.000 servidores. Recibía más de 6.000 consultas al día y se renovaba semanalmente.
  • El sistema tenía además un modo en tiempo real que arrancaba desde el índice, recorría enlaces no explorados e incorporaba páginas nuevas a la búsqueda. Pinkerton afirmó que ese modo permanecía fuera del servicio público por la carga que impondrían robots lanzados para cada usuario.

La misma descarga contestaba muchas preguntas

Un buscador puede leer páginas antes de que alguien pregunte y conservarlas en un catálogo. También puede esperar a la pregunta para salir detrás de las páginas que le faltan. WebCrawler incorporó ambos caminos. El público entraba por el primero: el servidor de consultas revisaba texto ya guardado y devolvía títulos y direcciones ordenados por pertinencia. La otra ruta pertenecía al laboratorio de Pinkerton.

El informe presentado en Chicago explica cómo se armaba el índice. WebCrawler seguía enlaces desde páginas conocidas, pero al descubrir un servidor nuevo le concedía pronto una primera visita antes de profundizar en otros. Guardaba un índice de palabras y un mapa de páginas, enlaces y servidores. Tras recuperar un documento, anotaba que lo había visto, extraía sus enlaces salientes y procesaba el título y el cuerpo. La amplitud precedía a la profundidad: la meta era encontrar una muestra útil de muchos servidores con un espacio limitado.

Pinkerton describió un servicio con casi 50.000 documentos repartidos en más de 9.000 servidores, más de 6.000 preguntas diarias y una actualización semanal. Son datos de operación de 1994, no el tamaño completo de la Red. Un índice construido así siempre tiene huecos. Puede tardar en volver a un sitio o dejar sin visitar páginas que cuelgan de enlaces lejanos. Su ventaja es que una página descargada una vez puede responder a incontables búsquedas posteriores sin pedir otra copia al sitio que la alberga.

Leer el texto completo mejoraba esa inversión. Según Pinkerton, el 20 % de los documentos visitados no tenía título. Un catálogo limitado a encabezados perdería buena parte de lo que esas páginas decían. El índice de contenido exigía disco y trabajo de cálculo en el servidor de WebCrawler, pero compartía los frutos de cada visita entre lectores con preguntas diferentes. El coste del rastreo se amortizaba en la cola de consultas.

El robot que seguía una pregunta concreta

El segundo modo empezaba buscando en el índice los resultados parecidos a la consulta. Después seguía enlaces desconocidos desde esas páginas, agregaba los nuevos documentos al índice y repetía la búsqueda. Los mejores hallazgos abrían otras ramas hasta llegar a suficientes resultados o agotar el tiempo. Pinkerton estudiaba también el texto visible de los enlaces para escoger qué camino parecía más relacionado con la pregunta. El índice era un punto de partida, no el límite de la expedición.

La posibilidad tenía atractivo. Si el catálogo se había quedado corto, el robot podía salir a completar la respuesta justo entonces. Pinkerton escribió que sus pruebas en tiempo real eran rápidas y enfocadas. En la misma fuente original especificó que no estaban disponibles para los usuarios públicos. Las miles de consultas diarias del servicio abierto interrogaban la base común; no liberaban miles de robots personales. Esa diferencia cambia la historia económica del buscador.

Mientras construía el índice, WebCrawler repartía el rastreo entre sitios. Pinkerton calculaba que, en una pasada amplia, un servidor recibiría una visita cada varias horas como mucho. Luego muchos lectores aprovecharían el contenido almacenado. Un rastreo encargado por una sola persona usaría agentes de red para una respuesta privada. Multiplicado por decenas de miles de personas, podría volver a las mismas páginas muchas veces sin compartir el resultado. Pinkerton juzgó que la búsqueda iniciada por clientes aún no podía generalizarse con la capacidad de red de la época.

Esa decisión aceptaba una pérdida visible. Un índice semanal podía ignorar una página recién publicada. La búsqueda inmediata podía hallarla siguiendo un enlace prometedor. Pero cada mejora particular de frescura habría tenido un precio para servidores ajenos. Pinkerton planteó explorar modos de devolver al índice común los descubrimientos de búsquedas privadas. Así, lo pagado por una pregunta podría servir a otras. En 1994, aquella idea era trabajo futuro, no una función ya abierta.