الخلاصة

  • في 4 تشرين الأول 2021، أمرٌ صدر خلال صيانة روتينية بقصد تقدير السعة المتاحة للشبكة الأساسية العالمية أزال كل الوصلات في تلك الشبكة، وقطع مراكز بيانات Facebook عن العالم.
  • آلية التدقيق الآلي المصمَّمة لاعتراض هذا النوع من الأوامر لم تعترضه، وفقدان شبكة الإنتاج وفقدان القدرة على رؤية ما يجري كانا حدثاً واحداً لا حدثين.
  • وصل السجل العام الذي جرت مراجعته إلى تعهّد المشغّل بتعزيز الاختبارات والتدريبات؛ ولا يحتوي على وثيقة مؤرخة تُثبت تصحيح الخلل في أداة التدقيق أو على تدريب رصدته جهة خارجية.

في عصر يوم 4 تشرين الأول 2021 توقفت Facebook وInstagram وWhatsApp عن الاستجابة في مساحة واسعة من العالم لعدة ساعات. وفي اليوم التالي نشر المشغّل روايته في شرح فريق الهندسة، وهي رواية لا تصف هجوماً ولا عطلاً في شبكة طرف آخر، بل تصف مهمة صيانة نُفِّذت على بنيته التحتية:

"During one of these routine maintenance jobs, a command was issued with the intention to assess the availability of global backbone capacity, which unintentionally took down all connections in our backbone network, effectively disconnecting Facebook data centers globally."

تحدد الجملة نقطة البداية بدقة غير معتادة: كانت النية قياس مقدار السعة المتاحة في الشبكة الأساسية، وكان الأثر إزالة كل وصلات تلك الشبكة. بين الاثنين كان ينبغي أن تكون هناك مسافة واسعة، وموضع العبرة في هذه الحالة أن تلك المسافة كانت موجودة في التصميم ولم تعمل في الواقع.

التحكم الذي لم يعمل

يقول المشغّل ذلك بوضوح لا يستحسن تلطيفه: كان هناك تحكم آلي مقصود لاعتراض أوامر من هذا النوع، وكان ذلك التحكم معطوباً.

"Our systems are designed to audit commands like these to prevent mistakes like this, but a bug in that audit tool prevented it from properly stopping the command."

هنا ينفصل هذا الحادث عن عطل عادي. لم تكن المؤسسة بلا حاجز؛ كان لديها حاجز هدفه المعلن تحديداً منع أمر صيانة من إسقاط الشبكة الأساسية العالمية. وجود ضابط لا يعني وجود حماية. فالضابط الذي يعمل، ويُسجَّل على أنه تحت إشراف، ثم يمرر الأمر الذي كان يجب أن يحجبه، ينتج إحساساً زائفاً بالتغطية، وهذا الإحساس الزائف هو ما يصعب تدقيقه لاحقاً.

ولا يحدد السجل العام الذي جرت مراجعته من أصدر الأمر ولا من اعتمده، ولا يسمح بوصف ما جرى بأنه تخريب أو إهمال أو إخفاء. الموصوف خلل في أداة، وهذا السجل لا يفسّر من أين جاء الخلل ولا كيف اختُبرت الأداة قبل ذلك.

حين يغيب النظر والتراجع في اللحظة نفسها

المقطع الثاني من الرواية هو ما يحوّل هذه الحالة إلى مسألة في تصميم الضوابط. يعدّد المشغّل عقبتين متزامنتين:

"All of this happened very fast. And as our engineers worked to figure out what was happening and why, they faced two large obstacles: first, it was not possible to access our data centers through our normal means because their networks were down, and second, the total loss of DNS broke many of the internal tools we'd normally use to investigate and resolve outages like this."

بالقراءة المتأنية، هذان ليسا حادثين تصادفا. إنه حدث واحد بخاتمتين مترابطتين: اختفت شبكة الإنتاج، واختفت معها نسبة كبيرة من القدرة الداخلية على تشخيص ما يجري. ونظام كشف يعتمد على النظام الذي سقط ليس نظام كشف مستقلاً، بل وسيلة مريحة تعمل ما دامت غير مطلوبة.

وتؤكد الاستجابة مدى امتداد هذا الاعتماد. لقد لجأ المشغّل إلى الحضور المادي:

"Our primary and out-of-band network access was down, so we sent engineers onsite to the data centers to have them debug the issue and restart the systems."

المسار خارج النطاق موجود أصلاً لينجو من سقوط المسار الرئيسي. وفي هذه المرة كان الاثنان ساقطين. لم تتم الاستعادة من لوحة بعيدة ولا من وحدة طوارئ، بل بإرسال أشخاص إلى المنشآت لإعادة تشغيل الأنظمة. هذا مسار مشروع، وهو في الوقت نفسه دليل على أن خط الدفاع الأخير للوصول البعيد لم يعد خط دفاع.

ما يمكن تأريخه من الخارج

التأكيد المستقل في هذا التقرير يقع في طبقة الرصد لا في طبقة السبب. طرف ثالث، انطلاقاً من موقعه الخاص في الشبكة، نشر تحليلاً للانقطاع بتوقيت UTC:

"But at around 15:40 UTC we saw a peak of routing changes from Facebook. That's when the trouble began."

"At 15:58 UTC we noticed that Facebook had stopped announcing the routes to their DNS prefixes."

"It stopped being available at around 15:50 UTC and returned at 21:20 UTC."

"At around 21:00 UTC we saw renewed BGP activity from Facebook's network which peaked at 21:17 UTC."

"as of 21:28 UTC Facebook appears to be reconnected to the global Internet and DNS working again."

يفعل هذا التسلسل ثلاثة أشياء ولا يفعل رابعاً. يؤرخ سحب المسارات التي كانت تحمل بادئات الأسماء الخاصة بالمشغّل، ويوثّق نافذة لم يكن فيها نطاق رئيسي يُحلّ، ويسجّل عودة نشاط التوجيه واستعادة الخدمة. لكنه لا يرى مسار التحكم الداخلي، ولا يستطيع تأكيد سبب فشل أداة التدقيق، ولا يقول شيئاً عن إصلاحات لاحقة. وقراءة هذا الرصد الخارجي كدليل على قدرة كشف داخلية خطأ في القراءة: ما رآه المراقب من الخارج هو تحديداً الجزء الذي لم يعد المشغّل قادراً على رؤيته.

الإصلاح: إلى أي درجة يصل السجل

ينتهي الشرح بتعهّد:

"From here on out, our job is to strengthen our testing, drills, and overall resilience to make sure events like this happen as rarely as possible."

لهذه الجملة موضع محدد، ولا يمكن أن تشغل إلا أدنى درجة في سلّم قابل للتحقق: تعهّد علني، ثم تنفيذ مؤرخ، ثم ضابط مُمارَس فعلاً، ثم رصد أو تصديق مستقل. المجموعة التي جرت مراجعتها — شرح المشغّل المنشور، وتحليل المراقب المستقل، وبحث موجَّه واحد عن وثائق لاحقة تتعلق بالضوابط التصحيحية — لم تُرجع مادة ترفع الحالة درجة. قالت Meta إنها ستعزز الاختبار والتدريبات والمرونة عموماً؛ ولا تُظهر أي وثيقة مؤرخة في هذه المجموعة أن خلل أداة التدقيق قد صُحّح، ولا أن اعتماد الوصول في حالات الطوارئ على الشبكة التي فشلت قد أُزيل، ولا أن تدريباً لاحقاً رصدته جهة من خارج المشغّل. وفي هذه المادة لا يظهر أي ضابط أُنشئ بعد الحادث على أنه مُختبَر.

هذه الفجوة لا تعني أنه لم يُصلَح شيء، بل تعني ما تحتويه المادة التي جرت مراجعتها. والذي يسدّها هو سجل تنفيذ مؤرخ، أو نتيجة ضابط مُمارَس، أو تدريب بحضور طرف خارجي.

توزيع المسؤولية

يفصل التوزيع الذي يعتمده هذا التقرير أربع طبقات. الأمر هو المحرّض المباشر، والمحرّض ليس خطأً. وأداة التدقيق هي الضابط الوقائي الذي فشل. واقتران فقدان الشبكة الأساسية بفقدان DNS بفقدان أدوات التشخيص بفقدان مساري الوصول البعيد هو فشل الاحتواء والاستعادة. أما مسؤولية مستوى المشغّل فتقع على منظومة الضوابط ومعمارية المرونة التي كانت قيد التشغيل. ولا يحدد السجل الذي جرت مراجعته أشخاصاً، ولا يُظهر تحذيرات سابقة، ولا يُظهر أي مخالفة إجرائية، ولا يحتوي على أي صك تنظيمي أو سجل محكمة أو تحقيق رسمي في هذه الواقعة.

ما يضيفه هذا النص

التغطية السابقة التي جرى تحديدها حول المشغّل نفسه تتناول أموراً أخرى: حوكمة بيانات المنصة وأذونات المطوّرين بعد سجل Cambridge Analytica، وآلية مطابقة الأوامر في إدراجه عام 2012، وملفاً شخصياً لمهندس بنية تحتية يعمل تحت هذه الضخامة، وملاحظات قصيرة عن انقطاعات لاحقة ومستقلة. لا تتناول أي من تلك المواد خلل الضوابط في 4 تشرين الأول 2021، ولا تزامن فقدان الإنتاج مع فقدان التشخيص، ولا ضرورة الاستعادة المادية، ولا مسألة دوام الإصلاح. ما يضيفه هذا النص هو سلسلة الضوابط وحدود الدليل المحيطة بها، لا إعادة سرد الانقطاع. وللجهة مدخل مستقل في دليل BTW.