Resumo

  • O consenso de junho de 1994 escolheu /robots.txt porque servidores Web existentes podiam fornecê-lo e o robô encontrava a política em uma única requisição HTTP.
  • O arranjo trocou uma convenção comum e previsível por administração no nível do site e adesão voluntária; em 1995, uma discussão mostrou que permissão, identidade do robô e intervalo entre visitas eram questões diferentes.

Um robô podia transformar um site pequeno em uma carga inesperadamente grande. Na introdução, o documento de 1994 “A Standard for Robot Exclusion” relembra reclamações de 1993 e 1994: alguns robôs faziam requisições rápidas demais ou buscavam os mesmos arquivos repetidamente; outros percorriam árvores virtuais muito profundas, conteúdo duplicado ou temporário e scripts CGI cuja execução podia produzir efeitos colaterais. O problema não era haver páginas demais na Web. Era um programa seguindo links atravessar os limites operacionais de um servidor sem que seu operador tivesse uma forma comum de indicar onde deveria parar.

A resposta proposta foi um arquivo de texto simples em um endereço fixo. Antes de percorrer o site, o robô buscaria a URL local /robots.txt. Os autores apontaram motivos práticos: dava para implementar o mecanismo nos servidores Web já existentes, e bastava uma requisição para descobrir a política. A localização na raiz também dispensava ensinar a cada robô um endereço diferente para cada site. O arquivo podia nomear um robô ou usar um coringa e depois listar os caminhos que ele não deveria buscar. Regras gerais e exceções cabiam em grupos separados.

Essa simplicidade pôs o controle na fronteira do site. O administrador do servidor podia publicar uma política para o host inteiro. O documento também reconhecia o limite: em um único arquivo, quem mantinha cada documento não podia editar sua própria regra diretamente. Um processo local poderia reunir contribuições diferentes em um só arquivo, mas a proposta não definia como. A conveniência de uma única busca deixava, portanto, uma pergunta de governança interna: quem podia definir a regra de rastreamento para o site?

A situação da convenção era igualmente explícita. O documento a descreve como um consenso de 30 de junho de 1994 entre a maioria dos autores de robôs e outras pessoas interessadas, aberto também à discussão na lista www-talk e baseado em um rascunho anterior. Ao mesmo tempo, dizia que não era um padrão oficial apoiado por entidade de normalização, que ninguém o impunha e que não havia garantia de uso por todos os robôs, atuais ou futuros. Seus autores chamaram a proposta de recurso comum oferecido pela maioria dos criadores de robôs. Era uma oferta de coordenação, não uma barreira técnica diante dos arquivos.

Uma mensagem de maio de 1995 no arquivo W3C www-talk mostrou outra fronteira. Kee Hinckley respondeu que o arquivo de permissões podia dizer ao robô onde não ir, mas não ajudava o servidor a reconhecer quem era aquele robô. Acrescentou que o arquivo não era buscado em cada visita, pois os intervalos mais longos reduziam a carga, e que uma pessoa também poderia solicitá-lo. É o relato de um participante, não uma medição de todo o comportamento dos robôs. Ainda assim, separa três tarefas fáceis de confundir: declarar a preferência de um site, identificar o cliente e decidir quando ele voltará.

Mais tarde, o protocolo ganhou outro status institucional. Publicado como documento IETF Standards Track em setembro de 2022, o RFC 9309 afirma que especifica e amplia o método definido por Martijn Koster em 1994, acrescentando definições, tratamento de erros e orientações sobre cache. O RFC também delimita o alcance: pede que os robôs respeitem as regras, mas elas não são uma autorização de acesso. A passagem de uma convenção comunitária para um padrão não tornou o arquivo um mecanismo de autenticação ou aplicação.

Essa história mostra onde uma regra comum pode morar. Um arquivo único e previsível reduziu o custo de coordenação para operadores de sites e autores de robôs. Em troca, o administrador se tornou o editor padrão e a adesão ficou a cargo do cliente. As fontes registram a escolha de projeto e o caminho posterior de padronização; não mostram quantos sites adotaram o arquivo, quantas requisições ele impediu nem quanta carga poupou.

Fontes

  • Martijn Koster, “A Standard for Robot Exclusion”, documento de consenso de 30 de junho de 1994, cópia do projeto de robôs do WebCrawler: documento.
  • Kee Hinckley, “Re: Byte ranges (actually robots)”, arquivo W3C www-talk, 25 de maio de 1995: mensagem.
  • IETF, RFC 9309, “Robots Exclusion Protocol”, setembro de 2022: RFC.