الخلاصة
- اختار توافق يونيو 1994 العنوان /robots.txt لأن خوادم الويب القائمة تستطيع تقديمه، ولأن الروبوت يستطيع معرفة السياسة بطلب HTTP واحد.
- استبدل التصميم بقاعدة مشتركة يسهل توقعها إدارةً على مستوى الموقع والتزاماً طوعياً؛ وأظهرت مناقشة عام 1995 أن الإذن وهوية الروبوت وموعد زيارته مسائل مختلفة.
كان بوسع روبوت زحف أن يفرض حملاً غير متوقع على موقع صغير. يستعيد مستند «A Standard for Robot Exclusion» الصادر عام 1994 شكاوى من 1993 و1994: طلبت بعض الروبوتات الصفحات بوتيرة مفرطة أو أعادت جلب الملفات نفسها، فيما تعمقت أخرى في أشجار افتراضية كبيرة، أو وصلت إلى معلومات مكررة ومؤقتة، أو إلى نصوص CGI قد يؤدي جلبها إلى آثار جانبية. لم تكن المشكلة كثرة صفحات الويب في حد ذاتها. كانت أن برنامجاً يتبع الروابط يستطيع تجاوز حدود تشغيل الخادم من دون وسيلة مشتركة تخبره أين يتوقف.
كان الجواب المقترح ملفاً نصياً بسيطاً في مكان ثابت. قبل استكشاف الموقع، يجلب الروبوت عنوانه المحلي /robots.txt. وشرح المؤلفون سبب الاختيار عملياً: يسهل تنفيذ الطريقة على خوادم الويب الموجودة، ويكفي جلب مستند واحد لاكتشاف السياسة. كما أن وضع الملف في الجذر يعفي الروبوت من تعلم عنوان مختلف لكل موقع. ويمكن للملف أن يسمي روبوتاً بعينه أو يستخدم علامة عامة، ثم يسرد مسارات لا ينبغي جلبها. وتستطيع المجموعات أن تجمع بين قاعدة افتراضية واستثناء.
وضعت هذه البساطة نقطة التحكم عند حدود الموقع. يستطيع مسؤول الخادم نشر سياسة واحدة للمضيف كله. وكان المستند صريحاً بشأن الكلفة: لا يستطيع مسؤولو الوثائق الفردية صيانة قواعدهم مباشرة داخل هذا الملف الواحد. يمكن لعملية محلية أن تجمع قوائم عدة في ملف واحد، لكن كيفية ذلك خارج نطاق الاقتراح. لذلك صاحبت سهولة الطلب الواحد مسألة صلاحية داخلية: من يحق له تحديد سياسة الزحف لموقع كامل؟
كان وضع الاتفاق واضحاً بالقدر نفسه. يذكر النص أنه جسّد توافقاً في 30 يونيو 1994 بين أغلبية مؤلفي الروبوتات وأشخاص آخرين مهتمين، وأنه أتيح أيضاً للنقاش على قائمة www-talk، وأنه بُني على مسودة عمل أسبق. لكنه لم يكن معياراً رسمياً تدعمه هيئة توحيد قياسي، ولم تفرضه جهة، ولم يضمن أن تستخدمه كل الروبوتات الحالية والمستقبلية. وصفه مؤلفوه بأنه مرفق مشترك تقدمه أغلبية مؤلفي الروبوتات لمجتمع الويب. كان عرضاً للتنسيق لا بوابة تقنية أمام الملفات.
كشفت رسالة في أرشيف W3C لقائمة www-talk في مايو 1995 حداً آخر. ردّ كي هينكلي بأن ملف الأذونات يستطيع إخبار الروبوت بما ينبغي أن يتجنبه، لكنه لا يعرّف الخادم بهوية الروبوت. وأشار إلى أن الملف لا يُجلب عند كل زيارة، إذ تباعد الفواصل لتخفيف الحمل، كما يستطيع أي شخص جلبه. وهذه شهادة مشارك واحد وليست قياساً لسلوك كل برامج الزحف. مع ذلك، تفصل الرسالة ثلاث مهام يسهل الخلط بينها: إعلان تفضيل الموقع، والتعرف على العميل، وتحديد موعد عودته.
اكتسب البروتوكول لاحقاً وضعاً مؤسسياً مختلفاً. يقول RFC 9309، المنشور ضمن مسار معايير IETF في سبتمبر 2022، إنه يحدد ويوسّع طريقة مارتين كوستر التي صاغها في 1994، مضيفاً تعريفات أوضح وتعليمات لمعالجة الأخطاء والتخزين المؤقت. كما يوضح الحد الفاصل: يُطلب من برامج الزحف احترام القواعد، لكنها ليست شكلاً من أشكال الإذن بالوصول. ولم يحوّل الانتقال من توافق مجتمعي إلى معيار الملف إلى آلية مصادقة أو فرض.
تُظهر هذه القصة أين يمكن أن تعيش قاعدة مشتركة. خفّض ملف واحد في موضع متوقع كلفة المشاركة على مشغلي المواقع ومؤلفي الروبوتات معاً. وفي المقابل، أصبح مسؤول الموقع المحرر الافتراضي، وظل الالتزام في يد العميل. توثق المصادر قرار التصميم ومسار التوحيد القياسي اللاحق؛ لكنها لا تحصي المواقع التي تبنته أو الطلبات التي منعها أو مقدار الحمل الذي وفّره.
المصادر
إحاطة الأعضاء
سياق أعمق للملف الشخصي
سجّل الدخول بمستوى العضوية المناسب لفتح الإحاطة الكاملة وملاحظات المصادر.
للدائرة الاستراتيجية فقط
الدائرة الاستراتيجية
مفتوح لجميع القراء. افتح إحاطات الملف الشخصي بعد الانضمام وتسجيل الدخول.
انضم إلى الدائرة الاستراتيجيةلأعضاء تحالف القيادات فقط
تحالف القيادات
لأصحاب الأصول الفكرية المؤهلين وللإدارة؛ سجّل الدخول للوصول إلى إحاطات التحالف.
انضم إلى تحالف القيادات