Meta Platforms والساعات الخمس والنصف التي لم تستطع فيها الإنترنت العثور عليها

الخلاصة

• في الرابع من أكتوبر 2021، أخرج أمرُ صيانةٍ هدفه تقييم السعة المتاحة للشبكة الأساسية العالمية الشبكةَ الأساسية بأكملها لدى Meta Platforms من التشغيل؛ وبحسب رواية الشركة نفسها، أعلنت المواقع آنذاك أنها غير سليمة وسحبت إعلانات BGP الخاصة بها، فبقيت خوادم DNS لديها غير قابلة للوصول رغم أنها كانت ما تزال عاملة.
• يضع قياس مستقل بداية الاضطراب عند نحو 15:40 بالتوقيت العالمي، وسحب المسارات المؤدية إلى بادئات DNS عند 15:58، واستئناف نشاط التوجيه عند نحو 21:00 بذروة عند 21:17، والاستعادة الكاملة الظاهرة عند نحو 21:28 — أي نحو خمس ساعات ونصف بين السحب والاستعادة، وهي نتيجة طرح توقيتين مُبلَّغ عنهما، لا قياس مستقل لمدة.
• النتيجة الباقية بنيوية: المشغّل الذي يمر مسار استعادته بالطبقة نفسها للتوجيه والأسماء التي يحاول استعادتها لا يستطيع أن يرصد فشله ولا أن يلغيه. والجزء غير المُختبَر في هذا الملف ليس الخطأ التكويني الأول، بل متانة الإصلاح.

لقد رُوي انقطاع Meta Platforms العالمي في الرابع من أكتوبر 2021 مرات كثيرة كقصة أمرٍ سيئ. وهذه الرواية دقيقة وشبه عديمة الفائدة. فإجراء صيانة واحد أخرج شبكة أساسية كاملة من الخدمة، ولم يكن الفشل الناتج كبيراً فقط، بل كان له شكل. سار على مخطط التبعيات الخاص بالمشغّل نفسه، ووصل إلى أدوات التحكم التي كان يفترض أن تحتويه، واستمر مدةً كافية بحيث لم يبقَ من علاج سوى شخصٍ يقود إلى مبنى.

يقرأ هذا المقال الحادثة كسلسلة من قرارات التحكم لا كحادث عرضي. أربعة أسئلة تنظّم الملف. ماذا قالت الشركة نفسها عن التغيير، وعند أي نقطة صار الأثر غير قابل للرجوع؟ وماذا قاس مرصد خارجي فعلاً، وما الذي لا يمكن للملاحظة الخارجية رؤيته أبداً؟ وأي الأعطال كان هندسياً وأيها كان حوكمة؟ وأي دليل يوجد على أن أياً من ذلك أُصلح بشكل دائم؟

وحيث لا يجيب السجل العام، يقول هذا النص ذلك صراحةً بدل أن يملأ الفجوة بما يبدو معقولاً. وهناك ثغرتان تهمّان من البداية. لم يتيسر لهذه المراجعة إثبات أي عدد للبادئات المسحوبة ولا لأي عدد من الشبكات المتأثرة، والتسلسل الزمني يستند إلى سلسلة قياس مستقلة واحدة لا إلى توافق عدة جهات قياس.

ماذا قالت الشركة عن التغيير

نشرت Meta Platforms روايتها في اليوم التالي للحادثة تحت عنوان «More details about the October 4 outage» على موقعها الهندسي (Engineering at Meta). والمقطع الحاسم قصير، وهو عند قراءته بعناية شديد الدقة في وصف التسلسل:

During one of these routine maintenance jobs, a command was issued with the intention to assess the availability of global backbone capacity, which unintentionally took down all the connections in our backbone network, effectively disconnecting Facebook data centers globally. ... In the recent outage the entire backbone was removed from operation, making these locations declare themselves unhealthy and withdraw those BGP advertisements. The end result was that our DNS servers became unreachable even though they were still operational.

وبالعربية: خلال إحدى مهام الصيانة الروتينية صدر أمرٌ بقصد تقييم توافر سعة الشبكة الأساسية العالمية، فأخرج على غير قصد جميع الاتصالات في شبكتنا الأساسية، وفصل فعلياً مراكز بيانات الشركة على مستوى العالم؛ وفي الانقطاع الأخير أُخرجت الشبكة الأساسية بأكملها من التشغيل، ما جعل هذه المواقع تعلن أنها غير سليمة وتسحب إعلانات BGP تلك، وكانت النتيجة النهائية أن خوادم DNS لدينا صارت غير قابلة للوصول رغم أنها كانت ما تزال عاملة.

تظهر في هذه الفقرة ثلاث مراحل، ويستحق فصلها لأن كل واحدة منها تستلزم ضابطاً مختلفاً.

المرحلة الأولى هي الأمر. كان غرضه المعلن تقييم السعة المتاحة، أي قياساً لا تغييراً في طوبولوجيا الإنتاج. وأياً كانت الطريقة التي تعاملت بها الأداة مع الإجابة، فإن الأثر كان إخراج جميع الاتصالات في الشبكة الأساسية. والأمر الذي تكون نيته القياس وأثره الانقطاع التام ليس واسع النطاق، بل بلا حدود.

المرحلة الثانية تلقائية. فمع زوال الشبكة الأساسية، قيّمت المواقع سلامتها بنفسها، فوجدت نفسها معزولة، وفعلت ما تفعله المسيّرات المُهيّأة جيداً: سحبت إعلانات BGP الخاصة بها. وهذه هي الحلقة التي تحوّل عطلاً داخلياً إلى حدث مرئي على الإنترنت. لم يكن السحب قراراً اتُّخذ في غرفة الأزمة، بل سياسة نُفِّذت بأمانة. والتفرقة تهم من يريد منع التكرار، لأن السياسة الأمينة لا تُصلَح بأن يُقال لها اكذب، بل بالبتّ في ما يظل بوسع الموقع فعله عندما يفشل فحص السلامة لديه.

المرحلة الثالثة هي التي جعلت الانقطاع طويلاً. فبكلمات المشغّل نفسه، صارت خوادم DNS غير قابلة للوصول رغم أنها كانت ما تزال عاملة. لم تكن الخوادم معطّلة. بل كفّت الشبكة عن القدرة على الوصول إليها، وكفّت بالتالي عن القدرة على الإجابة عن أين يوجد أي شيء.

ويصف السجل المنشور، كما استُعيد لهذه المراجعة، عنصرين آخرين محوريين في تحليل التحكم، ويعاملهما هذا المقال كتوصيف من المشغّل نفسه لا كواقعة مرصودة استقلالاً: أن أداة تدقيق كان غرضها اعتراض هذه الفئة من الخطأ تحديداً كانت تحتوي خللاً، وأن فقدان DNS خلق تبعية دائرية قطعت الوصول الإداري الخارج عن النطاق، فأصبح على المهندسين الوصول مادياً إلى مراكز البيانات لإعادة تهيئة المسيّرات. ولا يُشكَّك في أي من القولين هنا. كلاهما وصف من الطرف المعني لحالته الداخلية، ولم يراقب أي طرف خارجي أداة التدقيق ولا تذكرة التغيير ولا التدخلات داخل المباني.

ماذا قاس مرصد خارجي

روايات المشغّلين تفسّر السبب، لكنها أضعف بكثير في مسألة الساعة. فمن أجل التسلسل الزمني، الوثيقة المفيدة هي القياس المستقل الذي نشرته Cloudflare في اليوم نفسه (Cloudflare Blog)، والذي يؤرّخ لما رأته شبكة محلّلات كبيرة:

At around 15:40 UTC we saw a peak of routing changes from Facebook. That's when the trouble began. ... At 15:58 UTC we noticed that Facebook had stopped announcing the routes to their DNS prefixes. ... At around 21:00 UTC we saw renewed BGP activity from Facebook's network which peaked at 21:17 UTC.

وبالعربية: عند نحو 15:40 بالتوقيت العالمي رأينا ذروة في تغييرات التوجيه الآتية من Facebook، وهناك بدأت المشكلة؛ وعند 15:58 لاحظنا أن Facebook قد توقفت عن إعلان المسارات المؤدية إلى بادئات DNS الخاصة بها؛ وعند نحو 21:00 رأينا نشاط BGP متجدداً من شبكة Facebook بلغ ذروته عند 21:17.

ثلاثة توقيتات ومنحنى واحد. بدأ شيء ما عند نحو 15:40. وبحلول 15:58 لم تكن المسارات المؤدية إلى بادئات DNS للشركة تُعلَن من شبكتها — نافذة ثماني عشرة دقيقة ظهرت فيها تغييرات التوجيه قبل أن تختفي طبقة الأسماء من جدول التوجيه العالمي. واستؤنف النشاط عند نحو 21:00، وبلغ ذروته عند 21:17، وكما تذكر تحليلات Cloudflare بعد ذلك، ظهر الاتصال الكامل بالإنترنت العالمي عند نحو 21:28.

تسمح هاتان النقطتان بعملية طرح لا تجريها المصادر للقارئ: بين سحب إعلانات بادئات DNS عند 15:58 والاستعادة الكاملة الظاهرة عند نحو 21:28 تمتد نحو خمس ساعات ونصف. وهذا الرقم طرح بين توقيتين مُبلَّغ عنهما، لا مدة انقطاع مقيسة استقلالاً، ويجب قراءته بهذا التحفّظ. ومع ذلك يبقى أدق رقم متاح عن المدة التي استغرقتها الاستعادة فعلاً عند حافة الإنترنت.

وما لا يستطيع القياس الخارجي تقديمه لا يقل أهمية. فمرصد خارج الشبكة المتأثرة يستطيع أن يرى الإعلانات تظهر وتختفي؛ لكنه لا يستطيع أن يرى موافقة التغيير، ولا الإنذار الذي رنّ أو لم يرنّ، ولا لوحة القياس الداخلية التي أظلمت في اللحظة نفسها مع ما كانت تراقبه، ولا تسلسل القرارات بعد أن أدرك المشغّل أن أدواته قد ذهبت. قاست Cloudflare سطحاً، ووصف المشغّل آلية. ولا تثبت أي من الوثيقتين، منفردة، الصلة السببية — والصلة يثبتها أن الآلية الموصوفة ستنتج بالضبط السطح المرصود: شبكة تكفّ عن إعلان خوادم الأسماء الخاصة بها قبل أن تكفّ تلك الخوادم عن العمل.

عطلان في حادثة واحدة

من السهل معاملة هذا كعطل واحد بسب واحد. والسجل يدعم عطلين على الأقل، وخلطهما ينتج الدواء الخطأ.

أمر صيانة يزيل شبكة أساسية كاملة عطل هندسي. والدواء تضييق النطاق، والتنفيذ على مراحل، وتقييم مسبق، وحدود صارمة لما يجوز لأي إجراء تقييم أن يمسّه.

خطوة تدقيق أو تحقّق كان يفترض أن تعترض أمراً بهذا النطاق ولم تفعل، فهي عطل حوكمة. والدواء مختلف في نوعه: يسأل لماذا كانت حارسة واحدة تحمل العبء كله؛ وما تغطيتها الفعلية إزاء نطاق الأثر؛ وهل اختُبرت على الفئة الصحيحة من التغيير الذي كان عليها إيقافه؛ ومن كان مسؤولاً عن ملاحظة أن الحارسة قد كفّت عن الحراسة.

فإن وُجدت الحارسة واختلّت، فالسؤال الأول لماذا كانت نقطة تحقّق واحدة تحمي شبكة عالمية. وإن كان نطاقها أضيق من نطاق الأثر — أي إنها كانت تتحقق من التغيير كما قُدّم لا كما نُفِّذ — فالسؤال الأكثر إزعاجاً هو لماذا لم يُنمذَج نطاق الأثر هذا قط. والسجل العام الذي اطلعت عليه هذه المراجعة لا يحسم أي الوصفين أفضل. وهو يثبت فقط أن المشغّل نفسه يصف ضابطاً وقائياً لم يمنع.

وثمة عطل ثالث يذكره المشغّل على سبيل العرض العابر، وهو مع ذلك الأكثر شيوعاً، ويستحق سطراً خاصاً: الاقتناع بأن إشارة السلامة تبقى موثوقة في غياب الشبكة التي تحملها. فالموقع الذي يعلن نفسه غير سليم لأنه لا يرى أقرانه يتصرف تصرفاً صحيحاً في الأحوال العادية. وهنا نشر التصرف الصحيح العطل. والسؤال التصميمي ليس هل نُبقي فحوص السلامة، بل ما الذي يُسمح لعقدة سليمة لكنها معزولة بسحبه.

التبعية الدائرية

من بين كل ما في هذا الملف، التبعية الدائرية هي الجزء الأوسع انطباقاً والأقل دليلاً علنياً.

تذكر رواية Meta Platforms أن فقدان الوصول إلى DNS قطع الإدارة الخارج عن النطاق، وأن المهندسين لذلك اضطروا إلى الوصول مادياً إلى مراكز البيانات لإعادة تهيئة المسيّرات. وإذا قُرئت هذه الجملة كوصف معماري، فهي تتحدث عن التزامن الخطّي: النظام المستخدم لرصد الشبكة، وجزء من المسار المستخدم لإدارتها، كانا يعتمدان على طبقة الأسماء والتوجيه الخاصة بالشبكة نفسها. وحين سقطت تلك الطبقة، سقطت معها قدرة المشغّل على الرؤية والفعل.

وهذا ليس خطأً غريباً. إنه ما يحدث عندما تُبنى الأدوات التي تُشغّل المنصة على المنصة نفسها. وفعل ذلك بإتقان على نطاق فائق الحجم صعب فعلاً: فحركة الإدارة تحتاج إلى مصادقة وتفويض وتسجيل وسياسة شبكة، وأرخص طريقة لتوفيرها هي إعادة استخدام الأنظمة التي توفّرها أصلاً. وثمن هذه السهولة هو بالضبط التأخير المرصود هنا: انقطاع تحدده لا كثرة المهندسين المناوبين، بل الوقت الذي يستغرقه شخص للوصول إلى خزانة معدات.

والنتيجة على صعيد الحوكمة غير مريحة. فقد تملك مؤسسة قدرة استجابة ممتازة للحوادث، ونوبات مناوبة ناضجة، ومسار تصعيد مُتدرَّباً عليه، وتظل غير قادرة على الاستجابة، لأن القدرة التي تعيش خلف الطبقة المعطوبة قدرة غير موجودة أثناء العطب. ويجب قياس قدرة الاستجابة في ظروف الانقطاع لا في المجرّد. وبحسب الوقائع، كانت قدرة استجابة Meta Platforms يوم الرابع من أكتوبر 2021، ولساعات، صفراً — لا لأن مهندسيها أخفقوا، بل لأن الطريق إليهم أخفق مع كل شيء آخر.

نطاق الأثر كان يخصّ آخرين

تستطيع شركة أن تعامل انقطاعها كتكلفة داخلية. لكن السجل العام لهذا الانقطاع يُظهر شيئاً آخر: عواقب وُزّعت على أطراف لم يكن لها صوت في التغيير.

ويذكر تحليل Cloudflare، كما استُعيد لهذه المراجعة، أن حركة استعلامات DNS العالمية ارتفعت أثناء الحادثة، إذ أعادت التطبيقات والمستخدمون المحاولة على خوادم أسماء صارت غير قابلة للوصول. وهذه هي بصمة عطلٍ صدَّر إلى الخارج. فكل تطبيق معتمد يعيد المحاولة، وكل محلّل يستوعب حملاً إضافياً، وكل صفحة دفع تعجز عن إتمام نداء تفويض، كان يعيش مهمة صيانة غيره كعطله هو.

والنمط عام. فشبكات قليلة تحتل اليوم موقعاً في مسار الأسماء والتوجيه لنسبة هائلة من الاستخدام اليومي للإنترنت، بما فيه استخدام لا علاقة له بالشبكات الاجتماعية: مزوّدو الهوية، ومسارات الدفع، ودخول التجّار، وبوابات الخدمات العامة. والمؤسسات التي بنت على نحو صحيح احتياطاً لبنيتها التحتية قد تُسقِطها مع ذلك تغييرات تكوين لا تستطيع رؤيتها ولا اختبارها ولا تدقيقها. وبالنسبة لمجالس الإدارة والجهات التنظيمية، هذا هو التعرّض الحقيقي في هذه الحادثة: لا توافرُ منتجات شركة، بل اعتمادٌ غير مُدار لمؤسسات لا علاقة لها بالشركة على حفنة من نقاط التحكم التي تظل ممارساتها الداخلية في التغيير غير مرئية لها.

وقد أدرك ممارسو تشغيل الشبكات ذلك فوراً. فقد تعاملت تعليقات القطاع مع BGP كآلية مركزية ومع الحادثة كواحدة من أكبر وأسوأ ما جرى في تاريخ الشركة، واستخلصت دروساً صريحة للمهنيين (TechTarget). وهذه المادة تعليق لا قياس: لا تضيف بيانات توجيه ولا تفاصيل معمارية من مصدر أول. لكنها مع ذلك دليل على كيف استُقبلت الحادثة — كدرس في التوجيه، لا كعطل منصة فحسب.

حدود الدليل

أربعة حدود ينبغي أن تصاحب كل استشهاد بهذه الحادثة، وهذا المقال لن يطمسها.

أولاً، الحجم غير مُثبَت هنا. لم يتيسر لهذه المراجعة إثبات أي عدد للبادئات المسحوبة ولا لأي عدد من الأنظمة المستقلة المتأثرة. وقد أعادت محاولة بحث تستهدف قياس حجم التوجيه بلا مصدر قابل للاستخدام، ويعامل هذا المقال ذلك كثغرة في السجل لا كدليل على حجم صغير أو ضخم. وعلى القارئ أن يشكّ في أي رواية تقدّم هذه الأرقام دون تسمية سلسلة القياس التي تقف خلفها.

ثانياً، الساعة تستند إلى مرصد واحد. فالتسلسل الزمني أعلاه مأخوذ من جهة قياس مستقلة واحدة، مهما كانت موثوقة. ومن شأن سلسلة ثانية أن تقوّي منحنى السحب والاستعادة تقويةً جوهرية، وغيابها يمنع القول بمسؤولية إن كانت الاستعادة قد نُسِّقت مركزياً أم انتشرت شبكةً بشبكة. والسجل يقدّم بضعة توقيتات لا سلسلة.

ثالثاً، الآلية الداخلية هي كلمة المشغّل. فخلل أداة التدقيق، والتبعية الدائرية، وشرط الوصول المادي، كلها رواية الطرف الذي عاشها. وهي معقولة ومفصّلة ومتّسقة مع بعضها، وغير مرصودة استقلالاً.

رابعاً، وهو الأهم لمن يقرأ هذا كملف قضية لا كقصة: سجل الإصلاح رقيق. هذه المراجعة، المُعدّة في 17 أكتوبر 2026، لم تعثر على أي منشور لـ Meta Platforms يعرض فصلاً معمارياً محدداً للإدارة الخارج عن النطاق عن طبقتَي التوجيه والأسماء في الإنتاج، ولا على أي تقييم مستقل لتغيير من هذا القبيل. وهذا نتيجة سلبية مؤرَّخة عن السجل العام الذي جرى البحث فيه. وهو ليس دليلاً على أن تغييراً كهذا لم يُجرَ — فالمؤسسات تجري تغييرات كهذه على نحو خاص وروتيني — لكنه يعني أن طرفاً ثالثاً لا يستطيع اليوم التحقق من الإصلاح.

كيف يبدو إصلاح قابل للاختبار

إذا كانت متانة الإصلاح هي السؤال المفتوح، فمن المفيد أن نكون محددين في ما يغلقه. ثلاث تجارب تتبع مباشرة من الوقائع.

الأولى استقلال مسار الاستعادة. فلا ينبغي أن تعتمد الإدارة الخارج عن النطاق على طبقتَي التوجيه والأسماء في الإنتاج، وينبغي إثبات هذا الاستقلال في ظروف العطل لا تأكيده في مخطط معماري. والشكل العملي للتجربة تمرين: سحب طبقة الأسماء عن قصد، وبصورة مضبوطة، والتأكد من أن المشغّلين ما زالوا قادرين على المصادقة ورؤية حالة الشبكة وتغييرها. والمؤسسة التي لم تجرِ هذا التمرين قط لا تعرف جوابها.

والثانية نطاق أثر محدود. فكل أمر صيانة ينبغي أن يكون له أثر أقصى مسموح يفرضه شيء غير انتباه المشغّل في لحظة التنفيذ. والسجل هنا يصف إجراء تقييم كان يخاطب الشبكة الأساسية بأكملها. والضابط الذي يحصر التقييم في شريحة محددة، ويتحقق من الشريحة، ويستطيع استعادتها دون مسّ الباقي، يحوّل انقطاعاً عالمياً إلى انقطاع محلي.

والثالثة قابلية التكذيب. فالإصلاح المتين ينتج أثراً يستطيع من في الخارج فحصه: وصف منشور للفصل الجديد، أو مراجعة مستقلة، أو نتيجة تمرين معلنة. ولا وجود لأي من الثلاثة في السجل الذي جرى البحث فيه. وما يوجد بدلاً منها هو زمنٌ انقضى دون تكرار بالحجم نفسه — دليل ضعيف، ودليل يفترض بصمت أن شيئاً لم يتغير بدل أن يثبت أن شيئاً تغيّر.

لماذا يظل هذا الملف مهماً بعد خمس سنوات

في تاريخ هذه المراجعة بلغت الحادثة خمس سنوات، ولم يقدم درسها الأساسي. فالعطل لم يسببه نقص في الموهبة الهندسية أو المراقبة أو المال. سببه طوبولوجيا ثقة كانت فيها الأنظمة التي يفترض أن تحمي الشبكة لا يمكن الوصول إليها إلا عبر الشبكة. وهذه الطوبولوجيا تُعاد بسهولة في أي مؤسسة وأي حجم، في المسار اليومي لجعل الأدوات أكثر ملاءمة.

والأسئلة التقنية المحددة قابلة للإجابة، وقد أُجيب عن معظمها: فلا ينبغي أن تصبح خوادم الأسماء غير قابلة للوصول لأن الشبكة الأساسية التي تحمل حركة الإدارة غير سليمة، ولا ينبغي أن يُسمَح لفحص سلامة بسحب خدمة قابليتها للوصول شرطٌ لإصلاحها. والسؤال غير المحلول مؤسسي. وسجل Meta Platforms في دليلنا متاح هنا؛ وما لا يحتويه سجلها بعد هو الدليل الذي يتيح لعميل متأثر أو مجلس إدارة أو جهة تنظيمية أن يتحقق من ادعاء الإصلاح بدل أن يقبله.

وهذا هو الجزء الذي ينتمي إلى سجل المخاطر لا إلى تقرير حادثة. فبوسع مشغّل أن يكون صريحاً في ما انكسر، وأن يبقي مع ذلك متانة التصحيح خارج متناول كل من يتأثر به.