요약

  • 1994년 6월의 로봇 합의는 /robots.txt를 선택했습니다. 당시의 웹 서버가 이 파일을 제공할 수 있었고, 크롤러가 HTTP 요청 한 번으로 정책을 찾을 수 있기 때문이었습니다.
  • 이 설계는 공유되고 예측 가능한 관례를 사이트 수준 관리와 자발적 준수와 맞바꿨으며, 1995년의 토론은 권한 설정, 크롤러 식별, 요청 시점이 별개의 문제임을 보여주었습니다.

크롤러는 작은 사이트에도 놀랍도록 큰 부하를 만들 수 있었습니다. 1994년 문서 "A Standard for Robot Exclusion"는 서론에서 1993년과 1994년에 제기된 불만을 회상합니다. 어떤 로봇은 페이지를 너무 빠르게 요청하거나 반복해서 가져왔고, 다른 로봇은 깊은 가상 디렉터리, 중복 또는 임시 자료, 그리고 가져오는 과정에서 부작용이 생길 수 있는 CGI 스크립트까지 탐색했습니다. 문제는 웹에 페이지가 없어서가 아니었습니다. 링크를 따라가는 로봇이 서버의 운영 경계를 넘을 수 있었는데, 운영자가 어디서 멈춰야 하는지 설명할 공유된 방법이 없다는 점이었습니다.

제안된 해답은 고정된 위치에 놓인 단순한 텍스트 파일이었습니다. 로봇은 사이트를 탐색하기 전에 로컬 URL /robots.txt를 먼저 가져오는 것입니다. 저자들은 실용적인 이유를 들었습니다. 이 메커니즘은 기존 웹 서버에서 구현할 수 있었고, 로봇은 문서 요청 한 번으로 그 파일을 발견할 수 있었습니다. 루트 위치는 또한 로봇마다 사이트마다 새 주소를 익히도록 요구하는 일을 피해 주었습니다. 이 파일은 로봇 이름을 지정하거나 와일드카드를 쓸 수 있었고, 이어서 가져오지 말아야 할 URL 경로를 나열했습니다. 넓은 규칙과 예외는 별개의 레코드에 함께 존재할 수 있었습니다.

이 단순함은 통제 지점을 사이트 경계에 놓았습니다. 서버 관리자는 서버 전체를 대표하는 하나의 정책을 공개할 수 있었습니다. 문서는 이 방식이 남겨둔 부분에 대해서도 솔직했습니다. 개별 문서 관리자는 그 단일 파일에서 자신의 규칙을 직접 유지할 수 없었습니다. 로컬 프로세스가 여러 기여자의 목록을 하나로 모을 수는 있었지만, 이 제안은 그런 프로세스를 규정하지 않았습니다. 요청 한 번의 편의는 따라서 조직 내부에서 누가 크롤러 정책을 정할 권한을 갖는가라는 질문을 함께 안고 있었습니다.

이 관례의 지위 역시 신중하게 정해졌습니다. 문서는 로봇 제작자 다수와 관심 있는 사람들 사이에서 1994년 6월 30일자로 합의가 이루어졌으며, www-talk 목록에서도 논의가 열려 있었다고 기록합니다. 이는 이전 작업 초안에 기반을 두었습니다. 그러나 문서는 이것이 표준화 기구가 뒷받침하는 공식 표준이 아니며, 강제력이 없고, 현재와 미래의 모든 로봇이 이를 사용한다는 보장도 없다고 밝혔습니다. 저자들은 이를 대다수 로봇 제작자가 제공하는 공통 시설로 묘사했습니다. 이는 협조의 제안이었지, 파일 앞을 가로막는 기술적 관문이 아니었습니다.

1995년 5월 W3C www-talk 아카이브의 한 메시지는 또 다른 경계를 드러냈습니다. Kee Hinckley는 권한 파일이 크롤러에게 어디서 멀리 있어야 하는지 알려줄 수는 있지만, 서버에게 그 크롤러가 누구인지 알려줄 수는 없다고 답했습니다. 그는 또한 이 파일이 모든 방문마다 가져오지는 않는다고 했는데, 반복 요청을 간격을 두어 부하를 줄이기 때문이고, 일반 사용자도 이 파일을 가져올 수 있기 때문이라고 했습니다. 그의 글은 전체 크롤러 행동에 대한 조사가 아니라 한 참여자의 설명입니다. 그래도 이 글은 혼동하기 쉬운 세 가지 서로 다른 역할을 보여줍니다. 사이트의 선호를 밝히는 일, 클라이언트를 식별하는 일, 그리고 얼마나 자주 돌아올지 결정하는 일입니다.

이 프로토콜은 나중에 다른 제도적 지위를 얻었습니다. 2022년 9월 IETF Standards Track 문서로 발행된 RFC 9309는 마르틴 코스터(Martijn Koster)의 1994년 방식을 명시하고 확장한다고 밝히며, 정의, 오류, 캐싱에 관한 더 명확한 언어를 추가했습니다. 이 RFC는 경계도 명확히 합니다. 이 규칙은 크롤러에 요청하는 것일 뿐, 접근 권한 부여의 형태가 아닙니다. 커뮤니티 관례에서 표준으로 가는 길이 이 파일을 인증이나 강제 장치로 바꾸지는 않았습니다.

이 역사는 공통 규칙이 어디에 살 수 있는가에 대한 연구입니다. 하나의 예측 가능한 파일은 사이트 운영자와 크롤러 제작자 모두의 참여 비용을 낮추었습니다. 동시에 관리자를 기본 정책 편집자로 만들고 준수 여부를 클라이언트에 맡겼습니다. 이 근거는 하나의 설계 선택과 이후 표준화 경로를 기록할 뿐, 얼마나 많은 사이트가 이 파일을 채택했는지, 얼마나 많은 요청을 막았는지, 얼마나 많은 부하를 줄였는지는 보여주지 않습니다.

출처

  • 마르틴 코스터(Martijn Koster), "A Standard for Robot Exclusion", 1994년 6월 30일자 합의 문서, WebCrawler robots 프로젝트에서 미러링:문서.
  • Kee Hinckley, "Re: Byte ranges (actually robots)", W3C www-talk 아카이브, 1995년 5월 25일:메시지.
  • IETF, RFC 9309, "Robots Exclusion Protocol", 2022년 9월:RFC.