Resumo

  • No artigo original de 1994, Brian Pinkerton descreveu o índice público do WebCrawler: quase 50 mil documentos em mais de 9 mil servidores, mais de 6 mil buscas por dia e atualização semanal.
  • O software podia ainda seguir links em tempo real a partir de resultados do índice e repetir a consulta com páginas novas. Pinkerton afirmou que esse modo não estava disponível ao público, pois a busca individual de muitos usuários aumentaria a carga sobre a rede.

Um acervo comum para perguntas diferentes

Um mecanismo de busca pode ler páginas antes da pergunta e guardar uma cópia pesquisável. Pode também sair em busca de páginas novas quando a pergunta chega. O WebCrawler possuía os dois modos, mas a página pública usava o primeiro. Seu servidor consultava palavras já armazenadas e devolvia títulos e endereços em ordem de relevância. O segundo modo era uma experiência sobre o que fazer quando o acervo ainda não conhecia a resposta.

O relato de Pinkerton na conferência de Chicago mostra como o índice era construído. O robô começava por documentos conhecidos e percorria seus links. Quando encontrava um servidor novo, logo buscava pelo menos uma página dele antes de aprofundar a visita a servidores conhecidos. Guardava tanto as palavras dos documentos quanto um mapa de páginas, links e servidores. Ao recuperar um documento, registrava a visita, extraía links de saída e indexava título e corpo. Esse desenho espalhava a cobertura por muitos lugares, aceitando que o índice ficaria incompleto.

Na data do artigo, o serviço tinha quase 50 mil documentos espalhados por mais de 9 mil servidores, respondia a mais de 6 mil perguntas diárias e renovava o índice uma vez por semana. Esses números descrevem a operação de 1994, não a totalidade da Web. Uma página recente podia esperar a próxima coleta; outra, escondida em camadas de links, talvez nem entrasse. A recompensa era econômica: o conteúdo de uma página, baixado uma única vez, ajudava a responder muitas perguntas posteriores.

Ler o texto inteiro dava valor a essa coleta. Pinkerton informou que 20% dos documentos visitados não tinham título. Uma busca restrita a títulos ignoraria o assunto de muitas dessas páginas. O índice de corpo ocupava disco e trabalho de processamento no WebCrawler, mas poupava novas viagens aos servidores originais para cada palavra consultada. A base compartilhada transformava um custo de obtenção em utilidade repetida.

O segundo modo perseguia a pergunta

Na busca experimental em tempo real, a consulta encontrava primeiro páginas relevantes no índice. O robô seguia links ainda inexplorados dessas páginas, adicionava os novos documentos à base e repetia a consulta. Novos resultados no topo podiam abrir outra rodada de exploração, até haver material suficiente ou acabar o tempo permitido. Pinkerton estudava usar as palavras do próprio link para escolher melhor o próximo caminho, em vez de seguir qualquer ligação disponível.

O modo tinha apelo óbvio: um índice atualizado semanalmente perdia novidades, enquanto um robô guiado pela pergunta podia achar páginas além do último retrato. Pinkerton escreveu que os testes eram rápidos e bem direcionados. A mesma fonte primária afirma que a função não estava aberta aos usuários públicos. As milhares de buscas diárias do serviço comum consultavam o índice; não liberavam um grupo de agentes para cada visitante. Essa distinção explica por que uma demonstração técnica não virou botão de produto.

No rastreamento do índice, as visitas eram distribuídas entre servidores. O autor calculava que, numa varredura ampla, um servidor receberia uma visita a cada algumas horas, no máximo. O resultado guardado beneficiaria muitos leitores. Na busca de um cliente, páginas seriam baixadas para resolver o pedido de uma pessoa. Repita isso para dezenas de milhares de pessoas e os mesmos servidores podem receber solicitações sobrepostas sem compartilhar o resultado. Pinkerton julgou impraticável abrir amplamente essa busca diante da capacidade de rede disponível.

Havia um preço por manter o portão fechado. A base comum respondia depressa, mas envelhecia entre atualizações. A busca ao vivo poderia recuperar um documento novo. O custo adicional, porém, cairia sobre sites que hospedavam essas páginas. Pinkerton considerou uma saída: incorporar ao índice central as descobertas feitas por buscas individuais, para que outras pessoas também colhessem o benefício. O artigo coloca a ideia entre os trabalhos futuros. Em 1994, o produto público continuava sendo o mapa comum.