ملخص
- وفقًا للحساب الهندسي لميتا، بدأ انقطاع الخدمة في 4 أكتوبر 2021 داخل بيئة التحكم بالشبكة الخاصة بمشغل المنصة. أدى أمر كان يهدف إلى تقييم سعة الناقل الأساسي العالمي إلى فصل مراكز البيانات بشكل غير مقصود، وفشل خطأ في أداة التدقيق في إيقافه.
- حولت DNS وBGP هذا الفشل الداخلي إلى اختفاء عام. قالت ميتا إن خوادم DNS الخاصة بها سحبت إعلانات BGP عندما لم تعد قادرة على الوصول إلى مراكز البيانات، مما جعل DNS الموثوقة غير قابلة للوصول على الرغم من أن خوادم DNS تلك كانت لا تزال تعمل.
- مشكلة تحويل التكلفة هي أن المستخدمين والشركات الصغيرة والمعلنين والمبدعين والمطورين والعمال دفعوا ثمن فقدان الوصول وانقطاع التجارة وعدم اليقين التشغيلي على الرغم من عدم سيطرةهم على أمر صيانة الناقل الأساسي لميتا.
- الملاحظات الخارجية من Cloudflare وThousandEyes وKentik وAPNIC مهمة لأنها تظهر الأعراض الخارجية: سحوبات المسار، فشل المحلل، انهيار حركة المرور، وإشارات الاستعادة. جعلت أدلة موارد الشبكة الحدث قابلاً للمراجعة بما يتجاوز شرح ميتا الخاص.
- يحتاج سجل الإصلاح الموثوق إلى أكثر من استعادة الخدمة. إنه يحتاج إلى دليل على أدوات صيانة أكثر أمانًا، وحواجز أمان المسار، وعزل DNS، ووصول الموظفين خارج النطاق، والتواصل مع المعلنين والمطورين، وتدريبات تغطي عزل الناقل الأساسي العالمي.
بدأ الانقطاع داخل مستوى التحكم الذي لا يراه المستخدمون أبدًا
منشور ميتا الهندسي،تفاصيل إضافية حول انقطاع 4 أكتوبر، هو السجل الأساسي لسلسلة جانب المشغل. قالت ميتا إن الانقطاع نجم عن نظام يدير سعة شبكة الناقل الأساسي العالمية. أثناء الصيانة الروتينية، أدى أمر كان يهدف إلى تقييم توفر الناقل الأساسي إلى فصل جميع الاتصالات في شبكة الناقل الأساسي بشكل غير مقصود. يذكر نفس الحساب أن الأنظمة صُممت لتدقيق مثل هذه الأوامر، لكن وجود خطأ في أداة التدقيق منع إيقاف الأمر.
تلك هي قصة مساءلة مستوى التحكم. شهد المستخدمون تعطل فيسبوك، إنستغرام، واتساب، ماسنجر، أدوات الإعلان، تكاملات تسجيل الدخول، وأسطح المنصة الأخرى. لم يشهدوا أمر موجه. لم يتمكنوا من فحص أداة التدقيق. لم يتمكنوا من اختيار بنية BGP وDNS. لم يتمكنوا من إرسال مهندسين إلى مركز بيانات. ومع ذلك، انتقلت تكلفة الفشل الداخلي في التحكم إلى يومهم.
كان التحديث العام السابق لميتا،تحديث حول انقطاع 4 أكتوبر، يخدم غرضًا مختلفًا: الإقرار والاعتذار والتواصل العام الأساسي. قدم المنشور الهندسي لاحقًا شرحًا أكثر دقة. الفرق مهم لأن المنصة العالمية تحتاج إلى كليهما. أثناء الانقطاع، يحتاج المستخدمون إلى معرفة ما إذا كانت الخدمة متأثرة وما إذا كانت حساباتهم أو بياناتهم تبدو متورطة. بعد ذلك، يحتاج الجمهور إلى سجل تحكم يشرح ما فشل وما سيتم إصلاحه.
لا يتطلب تحويل التكلفة رقم خسارة عام دقيق ليكون حقيقيًا. متجر صغير يعتمد على رسائل واتساب، ومعلن ينتظر تسليم الحملة، ومنشئ محتوى يفقد نافذة النشر، ومطور يستخدم تطبيقه تسجيل الدخول عبر فيسبوك، وموظف تعتمد أدواته الداخلية على DNS الشركة، جميعهم يختبرون عواقب مسار قرار لم يتحكموا فيه. تختلف الخسائر حسب الشخص والعمل. هيكل المساءلة هو نفسه.
لذلك يختلف حدث ميتا عن حادث موقع ويب عادي. لقد كان حدث اعتماد على نطاق المنصة. كانت شبكات الشركة ومراكز البيانات وDNS الموثوقة والأدوات الداخلية والتطبيقات الموجهة للمستخدم والعملاء التجاريين وتكاملات الطرف الثالث متصلة من خلال فشل واحد. عندما انكسرت تلك السلسلة، تعلم الجمهور كم من الاتصالات اليومية والتجارة كانت خلف سطح التحكم بالصيانة.
جعلت BGP وDNS الفشل الداخلي عامًا
أظهر التحليل الخارجي لـ Cloudflare،فهم كيف اختفى فيسبوك من الإنترنت، كيف بدا الانقطاع من خارج ميتا. رأت Cloudflare فشل استعلامات DNS وسلوك سحب المسار، وشرحت لماذا لم يتمكن المحللون من الوصول إلى بنية DNS الموثوقة لفيسبوك. أكد شرح ميتا الخاص لاحقًا أن مواقع DNS سحبت إعلانات BGP لأنها لم تستطع التحدث إلى مراكز البيانات، تاركة خوادم DNS تعمل ولكن غير قابلة للوصول.
BGP هو البروتوكول الذي يسمح للأنظمة المستقلة بإخبار بعضها البعض عن كيفية الوصول إلى البادئات. الوصف القياسي موجود فيRFC 4271. مصطلحات وأدوار DNS محددة فيRFC 8499. لا تشرح هذه المستندات الحادث الداخلي لميتا، لكنها توضح الآليات العامة. بدون إعلانات مسار BGP، لا يمكن لبقية الإنترنت العثور بشكل موثوق على مواقع الشبكة التي يحتاجها. بدون DNS موثوقة قابلة للوصول، لا يمكن للمحللين التكراريين ترجمة أسماء المنصات إلى عناوين قابلة للاستخدام.
كانت السمة غير المعتادة للانقطاع هي الاقتران. لم تكن DNS الموثقة لميتا ببساطة غير مهيأة بشكل منفصل. قالت ميتا إن مواقع DNS سحبت المسارات لأنها لم تكن قادرة على الوصول إلى مراكز البيانات عبر الناقل الأساسي. هذا المنطق الصحي منطقي في الظروف العادية: موقع DNS الذي لا يمكنه الوصول إلى الطرف الخلفي يجب أن يتجنب إرسال المستخدمين نحو بنية تحتية غير صحية. ولكن عندما تم فصل الناقل الأساسي بالكامل، ضخم ذلك السلوك الدفاعي الانقطاع العام. أصبح فحص أمان محلي جزءًا من اختفاء عالمي.
يساعد مقدمو القياس الخارجيون في منع تفسير الحدث فقط من قبل الشركة التي فشلت. وصف تحليلانقطاع فيسبوكلـ ThousandEyes أعراض DNS وإمكانية الوصول التي لوحظت من الخارج. تتبع تحليلفيسبوك يعاني من انقطاع عالميلـ Kentik ولاحقًاشرح الانقطاع التاريخي لفيسبوكسلوك حركة المرور والمسار مع تطور الحدث واستعادته. هذه السجلات الخارجية ليست بديلاً عن السبب الجذري الداخلي لميتا، لكنها دليل على أن الشبكة العامة رأت المنصة تختفي من خلال تأثيرات BGP وDNS.
بعد أبعاد أدلة المسار مهم للمساءلة. إذا تم وصف الانقطاع فقط بأنه "فيسبوك كان معطلاً"، يصبح سؤال الإصلاح غامضًا. إذا كانت سحوبات المسار وفشل DNS وتغييرات حركة المرور مرئية، يصبح سؤال الإصلاح أكثر تحديدًا: أي إعلانات مسار تم سحبها، لماذا سحبها المنطق الصحي، كيف تم تصميم الاعتماد على الناقل الأساسي، كيف تم تسلسل الاستعادة، وما هي أعمال أمان المسار أو عزل DNS التي تغيرت بعد الحادث؟
ملاحظة طباعية
أصبح وصول الموظفين جزءًا من الانقطاع
يقول منشور ميتا الهندسي إن الاستعادة تباطأت لأن الوصول العادي إلى مراكز البيانات والأدوات الداخلية كان معطلاً. هذا هو أحد أهم دروس المساءلة في الحدث. يمكن أن يكون للمنصة ضوابط أمنية وتشغيلية متطورة وتكتشف أن تلك الضوابط تعتمد على نفس طبقة الشبكة التي فشلت. لم يقطع الحادث المستخدمين عن الخدمات فقط. لقد أثر على قدرة المشغل على الوصول إلى الأنظمة اللازمة للتشخيص والإصلاح.
هذا ليس سببًا لإضعاف الأمان باستخفاف. يلاحظ حساب ميتا أن الأمان المادي والنظامي جعل مراكز البيانات صعبة الوصول والموجهات صعبة التعديل حتى مع الوصول المادي. هذا التعزيز هو عادة فضيلة. أظهر الانقطاع المقايضة: بيئة تحكم مصممة لمنع التغيير غير المصرح به يمكن أن تبطئ الاستعادة المصرح بها أثناء فشل داخلي نادر. الرد المسؤول ليس "اجعل كل شيء أسهل للوصول". إنه "أثبت أن مسارات الوصول الطارئة موجودة، ومختبرة، ولا تعتمد على المستوى الفاشل".
الاستعادة خارج النطاق هي واجب حوكمة للمنصات التي يمكن أن يؤثر انقطاعها على مليارات المستخدمين والعديد من الشركات. يجب أن يكون المشغل قادرًا على الوصول إلى أجهزة الشبكة الحرجة، والمصادقة على المستجيبين للطوارئ، والتنسيق في قنوات بديلة، واستعادة أنظمة التحكم الأساسية دون افتراض أن DNS الشركة، والهوية، والدردشة، ولوحات المعلومات، وشبكات المكتب سليمة. إذا لم يتم اختبار هذه التبعيات في ظل ظروف فشل واقعية، فسيتم اكتشافها أثناء الانقطاع نفسه.
ينطبق نفس الفكرة على العملاء. قد لا يكون لدى شركة صغيرة تعتمد على صفحة ميتا ورسائل واتساب خطة استمرارية رسمية. لكن ميتا لديها حجم وتأثير اقتصادي كافيان لدرجة أن تصميم استعادتها الداخلي يصبح عامل استمرارية للعميل. إذا تباطأت الاستعادة بسبب اقتران الوصول الداخلي، يعاني المستخدمون والشركات من انقطاع أطول. هذا هو تحويل التكلفة من خلال بنية الاستعادة.
استخدم مقال رأي APNICالتعلم من أخطاء فيسبوكالحادث لمناقشة دروس DNS والتصميم التشغيلي. النقطة الأوسع هي أن المنصات الكبيرة يجب أن تصمم حدود الفشل بين شبكات الإدارة الداخلية، وDNS الموجهة للمستخدم، واتصالية الخدمة الموثوقة، وأدوات استعادة الموظفين. الاستقلال التام غير واقعي. ولكن يجب توثيق الاقتران المعروف، واختباره، وشرحه بعد الفشل.
الاعتماد على المنصة ليس مجرد راحة للمستهلك
من السهل تصوير الانقطاع على أنه فقدان الأشخاص للوصول إلى التطبيقات الاجتماعية لعدة ساعات. هذا يقلل من شأن الاعتماد. يصف الإيداع السنوي لميتا لعام 2021،نموذج 10-K، عائلة منتجات الشركة، ونموذج الأعمال القائم على الإعلانات، ومخاطر المنصة. الإيداع ليس تقرير انقطاع، لكنه يظهر لماذا يؤثر التوفر على أكثر من التصفح العادي. الإعلانات، والمراسلات التجارية، وأدوات المطورين، والتجارة، والتواصل المجتمعي هي جزء من اقتصاد المنصة.
توضحصفحة منتج الإعلاناتلميتا سطح اعتماد واحد. يستخدم المعلنون أنظمة ميتا للوصول إلى العملاء، وإدارة الحملات، وقياس الأداء. أثناء الانقطاع، يمكن أن يصبح تسليم الحملات والتقارير غير مؤكد. لا ينبغي للمقال اختيار خسائر بالدولار لمعلنين محددين. يمكن أن يقول إن الانقطاع نقل عدم اليقين التشغيلي إلى المعلنين الذين لم يكن لديهم سيطرة على أداة صيانة الناقل الأساسي.
المطورون هم مجموعة اعتماد أخرى. يُظهرتوثيق تسجيل الدخول عبر فيسبوكلميتا كيف يمكن لتطبيقات الطرف الثالث الاعتماد على هوية ميتا. عندما تكون خدمات فيسبوك غير قابلة للوصول، يمكن أن تتدهور تدفقات تسجيل الدخول المعتمدة أو تفشل. يختلف تأثير الحادث المباشر حسب تصميم التكامل، والجلسات المخبأة، وخيارات الهوية الاحتياطية، وجغرافية المستخدم. نقطة المساءلة هي أن توفر المنصة يصبح اعتماد خدمة طرف ثالث حتى خارج تطبيقات ميتا المملوكة.
يجلس المبدعون والشركات الصغيرة في المنتصف. قد يستخدمون إنستغرام، وصفحات فيسبوك، وواتساب، وماسنجر، والإعلانات، والتعليقات كقنوات خدمة عملاء ومبيعات. يمكن أن يقطع انقطاع المنصة الحجز، والدعم، وتوليد العملاء المحتملين، والترويج للحدث، والمراسلة المباشرة. غالبًا ما يفتقر هؤلاء المستخدمون إلى قنوات دعم المؤسسات. يختبرون الانقطاع كفقدان الوصول إلى جمهورهم الخاص. وهذا يجعل التواصل العام للحالة والشرح بعد الحادث جزءًا من واجب المنصة.
تحمل العمال داخل ميتا التكاليف أيضًا. يصف الحساب الهندسي أن الأدوات الداخلية أصبحت غير متاحة. موظفو المنصة ليسوا مجرد مصلحين؛ إنهم مستخدمون متأثرون بالأنظمة الداخلية. إذا كان استجابة الشركة تعتمد على أدوات تشترك في نفس نطاق الفشل، يصبح عمل الموظف أقل فعالية بالضبط عندما يكون في أمس الحاجة إليه. هذه قضية تحويل تكلفة داخل المنظمة وكذلك خارجها.
أمان المسار لا يتعلق فقط بتسريبات المسار
لا ينبغي تسمية حدث ميتا بشكل خاطئ كتسريب مسار خارجي كلاسيكي. RFC 7908،تعريف المشكلة وتصنيف تسريبات مسار BGP، مفيد للمفردات حول فشل الانتشار، لكن السجل العام لميتا يركز على سحوبات المسار المتصلة بفصل الناقل الأساسي الداخلي ومنطق DNS الصحي. درس المساءلة ليس أن ميتا سربت مسارًا. إنه أن اتصالية المسار وسلطة DNS كانتا مرتبطتين بفشل صيانة داخلي.
RFC 7454،عمليات وأمان BGP، لا يزال ذا صلة لأنه يشرح أن عمليات BGP تتطلب سياسة منضبطة، وتصفية، ومراقبة، وإدارة تغيير. تقوم الشبكات الكبيرة بتغييرات روتينية باستمرار. لا يتوقع الجمهور أن كل تغيير خالٍ من المخاطر. يتوقعون أن التغييرات ذات نصف قطر الانفجار العالمي محمية بحواجز تلتقط الأوامر غير الآمنة قبل أن تؤثر على المنصة بأكملها.
تمثل إجراءات مشغلي الشبكة (MANRS) وتأمين توجيه الإنترنتمن CISA إرشادات عامة ومجتمعية لاحقة لانضباط التوجيه والتصفية والتحقق والتنسيق. لا ينبغي استخدامها كنتيجة خاصة بالحادث ضد ميتا. إنها مفيدة لأنها تحدد توقعًا أوسع: التوجيه بين النطاقات ليس تفصيل تنفيذ خاص عندما يمكن للفشل إزالة خدمات رئيسية من الاتصالية العالمية.
يوضحخدمة معلومات التوجيهالتابعة لـ RIPE NCC لماذا تعتبر رؤية المسار المستقلة مهمة. تتيح مجمعات المسار العامة وشبكات القياس للمراقبين إعادة بناء ما حدث من خارج المشغل. في انقطاع منصة عالمي، تقلل تلك الرؤية من الاعتماد على سردية شركة واحدة. كما تساعد المشغلين الآخرين على التعلم من الفشل واختبار افتراضاتهم الخاصة.
بالنسبة لميتا، سؤال أمان المسار هو حواجز الصيانة. ما هي الأوامر التي يمكن أن تؤثر على سعة الناقل الأساسي العالمي؟ ما هي أدوات التدقيق التي تراجعها؟ ماذا يحدث إذا كان هناك خطأ في أداة التدقيق؟ هل هناك توقفات مستقلة؟ هل يمكن للمنطق الصحي سحب المسارات عالميًا بطريقة مترابطة؟ هل اتصالية DNS ومركز البيانات مقترنة بطريقة تزيل جميع الخدمات الموثقة؟ هل يتم اختبار المسارات الطارئة عندما تختفي DNS؟ هذه الأسئلة أكثر فائدة من لغة "مشكلة شبكة" العامة.
أثبتت الاستعادة قيمة وحدود التدريبات
يقول الحساب الهندسي لميتا إن الشركة استخدمت الخبرة من تدريبات "العاصفة" لإدارة الاستعادة وتجنب زيادة يمكن أن تسبب المزيد من الفشل. هذا دليل مهم على الاستعداد. المنصة التي تستعيد من انقطاع شبه كامل لا يمكنها ببساطة تشغيل كل شيء مرة أخرى دون النظر في الطاقة، والذاكرة المؤقتة، وموازنات الأحمال، وقواعد البيانات، والطوابير، وطلب المستخدم. تسلسل الاستعادة هو تحكم، وليس فكرة لاحقة.
يقول نفس الحساب أيضًا إن ميتا لم يسبق لها إجراء تدريب عاصفة يحاكي إخراج الناقل الأساسي العالمي عن الخدمة. هذا الاعتراف قيم لأنه يحول الحادث إلى حالة اختبار جديدة. التدريبات جيدة بقدر السيناريوهات التي تغطيها. يمكن لشركة ممارسة فشل إقليمي، أو فشل خدمة، أو فشل مركز بيانات وما زالت تفاجأ بعزل مستوى التحكم. الإصلاح المسؤول هو إضافة السيناريو المفقود وإثبات أن التدريب المحدث يغير جاهزية الاستجابة.
الاستعادة تحمل أيضًا آثارًا على التواصل مع العملاء. قد تكون المنصة تتعافى تقنيًا بينما لا يزال المستخدمون يرون أخطاء، أو فشل تسجيل الدخول، أو رسائل متأخرة، أو وسائط معطلة. قد يحتاج المعلنون إلى فهم ما إذا كانت بيانات التقارير متأخرة أو مفقودة. قد يحتاج المطورون إلى معرفة ما إذا كانت تدفقات تسجيل الدخول آمنة لإعادة المحاولة. قد يحتاج الموظفون إلى قنوات بديلة. يجب أن يتم تعيين تسلسل الاستعادة للتواصل الموجه للمستخدم، وليس الاحتفاظ به فقط داخل غرف الهندسة.
لذلك يجب أن يتضمن سجل الإصلاح العام ثلاثة جداول زمنية. الأول هو الجدول الزمني التقني: الأمر، فصل الناقل الأساسي، سحب المسار، فشل DNS، قيود الوصول، الاستعادة. الثاني هو الجدول الزمني لتأثير المستخدم: الخدمات غير متاحة، الاستعادة الجزئية، الأخطاء المتبقية، التشغيل الكامل. الثالث هو الجدول الزمني للتواصل: متى تم إبلاغ الجمهور، ما كان معروفًا، وكيف تغير عدم اليقين. تتحسن المساءلة عندما تتماشى هذه الجداول الزمنية.
قدمت منشورات ميتا العامة تفاصيل أكثر من العديد من الانقطاعات الكبيرة. ومع ذلك، لا يمكن للجمهور رؤية كل إجراء تصحيحي. هذا طبيعي؛ تصميمات المسار والناقل الأساسي حساسة. لكن يمكن للعملاء والمنظمين والمعلنين والجمهور أن يطلبوا بشكل معقول إغلاقًا على مستوى الفئة: تغييرات تدقيق الصيانة، التحكم في نصف قطر الانفجار، ضمانات اتصالية DNS، اختبار الوصول خارج النطاق، وتغطية تدريبات الناقل الأساسي العالمي.
التواصل حول الحالة هو تحكم في الاعتماد
غالبًا ما يتم التعامل مع التواصل حول الحالة كعلاقات عامة. في انقطاع المنصة، هو تحكم تشغيلي. يحتاج المستخدمون إلى معرفة ما إذا كان فشل الاتصال هو جهازهم، أو مزود خدمة الإنترنت الخاص بهم، أو حظر محلي، أو انقطاع منصة، أو مشكلة إنترنت أوسع. تحتاج الشركات الصغيرة إلى معرفة ما إذا كان عليهم تبديل القنوات. يحتاج المطورون إلى معرفة ما إذا كان عليهم تعطيل تدفقات تسجيل الدخول المعتمدة. يحتاج المعلنون إلى معرفة ما إذا كانت أنظمة الحملات متأثرة. يحتاج الموظفون إلى تنسيق استجابة بديل.
جعل الانقطاع التواصل حول الحالة أصعب لأن خدمات ميتا الخاصة كانت غير قابلة للوصول. لهذا السبب لا ينبغي أن تعيش أنظمة الحالة فقط داخل المنصة الفاشلة. يجب على مزود رئيسي الحفاظ على قنوات حالة خارج النطاق، وحسابات اجتماعية، وصفحات حالة ويب، ومسارات دعم العملاء التي لا تعتمد جميعها على نفس DNS أو الهوية أو مستوى التحكم بالشبكة. إذا اختفت المنصة واختفت قناة الحالة معها، يصبح الارتباك جزءًا من الضرر.
سد المراقبون الخارجيون للشبكة بعضًا من تلك الفجوة. نشرت Cloudflare وThousandEyes وKentik تحليلات لأنهم تمكنوا من ملاحظة الأعراض من الخارج. كان ذلك التعليق الخارجي مفيدًا، لكن لا ينبغي أن يكون آلية الحالة الأساسية للعملاء. يتحكم المشغل في الصورة الأكثر اكتمالًا ويدين بالتواصل المباشر، حتى لو كانت الرسائل المبكرة محدودة بالضرورة.
لغة الحالة الجيدة ستفصل الحقيقة المؤكدة عن التشخيص. مبكرًا: الخدمات غير متاحة عالميًا أو إقليميًا. التالي: يبدو أن المشكلة مرتبطة باتصالية الشبكة وDNS، مع عدم وجود دليل في السجل العام على اختراق بيانات المستخدم من حدث التوفر. لاحقًا: أمر صيانة الناقل الأساسي وخطأ في أداة التدقيق تسببا في الحادث؛ سحب BGP لـ DNS جعل الخدمات غير قابلة للوصول؛ تطلبت الاستعادة الوصول إلى مركز البيانات واستعادة دقيقة. أخيرًا: فئات إصلاح محددة ودروس موجهة للعملاء.
تلك السلسلة التواصلية مهمة لأن المعلومات المضللة يمكن أن تنتج ضررًا ثانويًا. أثناء انقطاع كبير، قد يقع المستخدمون في فخ الإصلاحات المزيفة، وقد يضع المعلنون افتراضات خاطئة، وقد يعطل المطورون الأنظمة دون داعٍ، وقد يخسر الموظفون الوقت في متابعة أدلة خاطئة. التواصل العام الواضح يقلل التكلفة المنقولة عن طريق عدم اليقين.
المجاهيل المتبقية وسؤال المساءلة
تبقى بعض الحقائق خارج السجل العام. لا يعرف الجمهور التأثير المالي الدقيق على المعلنين والمبدعين والشركات أو المطورين. لا يعرف كل تغيير داخلي أجرته ميتا على أدوات التدقيق الخاصة بها بعد الانقطاع. لا يعرف التصميم الكامل لمنطق DNS الصحي أو أنظمة الوصول خارج النطاق. لا يمكنه التحقق بشكل مستقل مما إذا كانت التدريبات اللاحقة قد حاكات بشكل كامل عزل الناقل الأساسي العالمي. لا ينبغي استبدال تلك المجاهيل بالتكهن.
ما يعرفه الجمهور كافٍ. سيطرت ميتا على بيئة صيانة الناقل الأساسي. سيطرت ميتا على أدوات التدقيق التي كان من المفترض أن توقف الأوامر غير الآمنة. سيطرت ميتا على بنية DNS التي سحبت إعلانات BGP عندما اختفت اتصالية مركز البيانات. سيطرت ميتا على تصميم الاستعادة الداخلي الذي تباطأ بسبب فقدان الشبكة والأدوات. لم يسيطر المستخدمون والشركات على أي من تلك العوامل تقريبًا.
سؤال المساءلة هو ما إذا كان الانقطاع قد قلل من تحويل التكلفة في المستقبل. هل ضيقت ميتا نصف قطر انفجار صيانة الناقل الأساسي؟ هل أضافت ضمانات أمر مستقلة؟ هل غيرت منطق DNS الصحي وسحب المسار بحيث لا يمكن لفصل داخلي واحد إزالة الاتصالية الموثقة عالميًا؟ هل عززت الوصول خارج النطاق؟ هل حسنت التواصل حول الحالة وتوجيه العملاء؟ هل وسعت التدريبات لتشمل الفئة الدقيقة من الفشل الذي حدث؟
يجب أن تكون الإجابة قائمة على الأدلة ومتناسبة. لا تحتاج ميتا إلى نشر مخططات شبكة حساسة. يجب أن تكون قادرة على وصف فئات الإصلاح والاختبار وتحسينات التواصل مع العملاء. لا يحتاج المعلنون والمطورون والشركات والمراقبون العامون إلى كل تفاصيل الموجه لمعرفة ما إذا كان المزود يعامل الحادث كدرس اعتماد هيكلي بدلاً من حادث نادر.
الأهمية الدائمة لانقطاع أكتوبر 2021 هي أنه جعل الاعتماد الخفي مرئيًا. المنصة التي تشعر وكأنها تطبيق هي أيضًا شبكة خاصة، ومشغل DNS، وبورصة إعلانات، ومزود هوية، ومكان عمل للموظفين، وطبقة اتصالات تجارية. عندما فشلت الشبكة الخاصة، تحمل الجمهور التكلفة. المساءلة تعني إثبات أن الخطأ التالي في مستوى التحكم الداخلي سيكون أصغر، وأوضح، وأسهل في الاستعادة، وأقل تكلفة لكل من هم خارج الغرفة التي يصدر فيها الأمر.
اعتماد المعلنين والمطورين يجعل التوقف غير متماثل
ليس جميع مستخدمي ميتا يتأثرون بنفس الطريقة. شخص لا يمكنه التصفح لعدة ساعات يفقد الراحة والتواصل. تاجر صغير يستخدم فيسبوك وإنستغرام للطلبات قد يفقد يوم مبيعات. قد يفقد منشئ المحتوى نافذة إطلاق التزام الراعي. قد يفقد المعلن زخم الحملة أو يواجه عدم يقين بشأن التسليم والتقارير. قد يرى المطور الذي يعتمد تطبيقه على تسجيل الدخول عبر فيسبوك أن العملاء غير قادرين على المصادقة. هذه الخسائر غير متماثلة لأن المنصة هي العديد من المنتجات في وقت واحد.
يجب أن تشكل تلك اللا تماثل التواصل حول الحادث. اعتذار عام واحد قد يكون مناسبًا عاطفيًا لكنه رقيق تشغيليًا. يحتاج المعلنون إلى معرفة ما إذا كان تسليم الحملة توقف، وما إذا كانت التقارير متأخرة، وما إذا كانت بيانات الفوترة أو الإسناد متأثرة، وما إذا كانت هناك أي عملية تعويض. يحتاج المطورون إلى معرفة ما إذا كان فشل تسجيل الدخول آمنًا لإعادة المحاولة، وما إذا كانت الرموز لا تزال صالحة، وما إذا كانت الحالات المنخفضة متوقعة بعد الاستعادة. تحتاج الشركات الصغيرة إلى إرشادات عملية حول القنوات البديلة. يمكن للمنصة الموجهة للجمهور استخدام صوت علامة تجارية واحد، لكن التزامات استمراريتها تختلف حسب الفئة.
أظهر الانقطاع أيضًا لماذا اعتماد المنصة لزج. العديد من الشركات لم تختار ميتا فقط كراحة؛ لقد بنوا جمهورهم، واستهداف الإعلانات، وعادات المراسلة، وسير عمل العملاء عليها على مر السنين. عندما تصبح منصة ذات تأثيرات شبكية غير متاحة، لا يمكن للعميل نقل الجمهور فورًا إلى مكان آخر. هذا اللزوجة يضخم تحويل التكلفة. الطرف المتضرر من التوقف غالبًا لا يمكنه تقليل الاعتماد في اللحظة، حتى لو كان ينوع لاحقًا.
يواجه المطورون نمط احتجاز مماثل. تكاملات الهوية تبسط الإعداد وتقلل عبء كلمة المرور، لكنها تربط مسار تسجيل الدخول لتطبيق طرف ثالث بتوفر ميتا. إذا اختفت المنصة من خلال فشل DNS وBGP، قد يبدو التطبيق المعتمد معطلاً حتى عندما تكون بنيته التحتية سليمة. يمكن للمطورين تصميم مصادقة احتياطية، أو جلسات مخبأة، أو خيارات هوية بديلة، لكن تلك الخيارات تتطلب الوعي بالاعتماد والمقايضات حول الأمان وتجربة المستخدم.
درس المساءلة ليس أن كل شركة يجب أن تتخلى عن خدمات المنصة. إنه أنه يجب على مشغلي المنصات معاملة اعتماد الشركات والمطورين كجزء من تأثير الحادث. يجب عليهم نشر إرشادات بعد الحادث محددة بما يكفي لتلك المجموعات لتحسين مرونتها الخاصة. المنصة التي تحقق أرباحًا من اعتماد المعلنين والمطورين يجب أن تتواصل مع تلك المجموعات كأصحاب مصلحة تشغيليين، وليس فقط كأعضاء في قاعدة مستخدمين واسعة.
يجب أن تفشل الأدوات الداخلية بشكل مستقل عن الاتصالية العامة
كشف تحدي استعادة ميتا عن نمط مألوف لدى مهندسي الموثوقية: الأدوات اللازمة لإصلاح الانقطاع يمكن أن تعتمد على الأنظمة المعطلة. غالبًا ما تنمو DNS الداخلية والهوية والدردشة ولوحات المعلومات والوصول عن بعد وأدوات النشر وسير عمل إدارة الحوادث حول نفس شبكة الشركة التي تعمل عليها. هذا فعال في الحياة العادية وخطير في حالات الفشل النادرة.
التصميم التصحيحي ليس استقلالًا كاملاً لكل أداة. سيكون ذلك مكلفًا وقد يخلق مشاكل أمنية. التصميم التصحيحي هو استقلال هادف لأقل مسار طارئ. يجب أن يعرف المشغل الأنظمة المطلوبة لتشخيص فشل الناقل الأساسي، والوصول إلى الموجهات، والمصادقة على المستجيبين، وتنسيق القرارات، ونشر الحالة، وتنفيذ الاستعادة. تلك الأنظمة يجب أن يكون لها تصميم خارج النطاق وجدول تمرين واقعي.
الوصول الطارئ صعب لأنه يقايض التوفر بمقاومة الإساءة. إذا كانت المرافق المادية والموجهات صعبة الوصول، يجد المهاجمون صعوبة أكبر في التسبب بالضرر. إذا كانت صعبة الوصول للغاية أثناء انقطاع ذاتي، تتباطأ الاستعادة. الرد المسؤول هو تحديد بروتوكولات طارئة بموافقة صارمة، وتسجيل، وضوابط أجهزة، وتدريبات منتظمة. يجب أن يكون المسار الطارئ آمنًا بما يكفي لظروف التهديد العادية وقابل للاستخدام بما يكفي للفشل الاستثنائي.
لا يحتاج الجمهور إلى التفاصيل الحساسة لتصميم الوصول الطارئ لميتا. لكن بعد انقطاع بهذا الحجم، يمكن للجمهور أن يتوقع بشكل معقول تأكيدًا على مستوى الفئة: تمت مراجعة أدوات الاستجابة الداخلية، وتم رسم التبعيات، وتم اختبار الوصول خارج النطاق، وتمت إضافة عزل الناقل الأساسي العالمي إلى التدريبات. هذا المستوى من الإفصاح يساعد المستخدمين والعملاء التجاريين على فهم أن الفشل غير الممارسة التشغيلية.
يجب على المنصات الأخرى التعامل مع انقطاع ميتا كتحذير. إذا فشلت DNS الشركة، هل لا يزال يمكن نشر تحديثات الحالة؟ إذا كانت أنظمة الهوية غير قابلة للوصول، هل يمكن للمستجيبين المصادقة؟ إذا كانت الدردشة الرئيسية معطلة، هل توجد قناة بديلة؟ إذا كانت لوحات المعلومات مستضافة في البيئة المتأثرة، هل يمكن عرض تتبع المسار في مكان آخر؟ إذا كان الوصول عن بعد محظورًا، من يمكنه الوصول إلى المرافق؟ هذه أسئلة واضحة ذات عواقب عالية.
يجب أن تصبح أدلة الشبكة جزءًا من تحليلات ما بعد الوفاة العامة
كان انقطاع ميتا مرئيًا بشكل غير عادي لأن الشبكات الخارجية يمكنها ملاحظة سحوبات المسار وفشل DNS. يجب أن تؤثر تلك الرؤية على كيفية كتابة المنصات الكبيرة لتحليلات ما بعد الوفاة. لا ينبغي أن يتوقف تحليل ما بعد الوفاة العام لانقطاع الشبكة عند فقرة سردية. يجب أن يتضمن الأعراض التي يمكن ملاحظتها خارجيًا التي رآها العملاء ومقدمو القياس: تغييرات المسار، سلوك DNS، أنماط حركة المرور، الجدول الزمني للحالة، وتسلسل الاستعادة. يمكن تجريد التفاصيل الحساسة، لكن يجب معالجة طبقة الشبكة العامة مباشرة.
هذه الممارسة تحسن الثقة. عندما يتوافق حساب المزود مع القياس الخارجي، يكون لدى العملاء ثقة أكبر في أن التشخيص حقيقي. عندما يعترف المزود بما رآه الخارجيون، يقلل ذلك من التكهن ويعلم النظام البيئي. عندما تتجاهل تحليلات ما بعد الوفاة سلوك BGP وDNS القابل للملاحظة، تترك فجوة يملؤها الشائعات أو تحليل الطرف الثالث وحده.
تساعد أدلة الشبكة أيضًا العملاء على إجراء تحليلاتهم الخاصة. قد يسأل العميل لماذا لم يتمكن موظفوه من استخدام واتساب للاتصالات التجارية، أو لماذا فشل تسجيل الدخول إلى التطبيق، أو لماذا ارتفعت طوابير الدعم. إذا قدم المزود جدولاً زمنيًا للمسار وDNS، يمكن للعميل محاذاة السجلات الداخلية مع الحدث الخارجي. تلك المحاذاة تحول انقطاعًا عالميًا إلى تعلم محلي.
يمكن لنفس الأدلة تشكيل العقود والهندسة المعمارية. قد يطلب العملاء المؤسسيون واجهات برمجة تطبيقات حالة المزود، وقنوات إشعار مباشرة، وتنبيهات شذوذ المسار، وتواصل مستقل عن فشل DNS. قد يضيف المطورون هوية احتياطية أو رسائل حالة. قد يحدد المعلنون عمليات إيقاف الحملة والتعويض عن انقطاعات المنصة. كل تحسن يبدأ بفهم أفضل لما فشل بالفعل.
يجب أن تكون تحليلات ما بعد الوفاة للشبكة حريصة على عدم الإيحاء بدقة زائفة. قد لا يعرف المزود كل تأثير مستخدم، ولا ترى مجمعات المسار كل مسار. لكن الجداول الزمنية التقريبية القائمة على الأدلة أفضل من الملخصات المبهمة. يجب أن يكون المعيار هو التواضع مع التفاصيل: إليك ما نعرفه، وإليك ما رآه المراقبون الخارجيون، وإليك ما غيرناه، وإليك ما يظل سريًا لأسباب أمنية.
يجب حوكمة تحويل التكلفة قبل الفشل التالي
يمكن أن تبدو عبارة تحويل التكلفة مجردة، لكنها تشير إلى خيارات الحوكمة. من يدفع عندما يقطع انقطاع المنصة طلبات تاجر صغير؟ من يستوعب نافذة التسليم الفائتة للمعلن؟ من يدعم المطورين الذين لا يستطيع مستخدموهم المصادقة؟ من يتحمل تكلفة عمل الموظفين الذين يتحولون إلى قنوات احتياطية؟ من يشرح التوقف للمجتمعات التي تعتمد على المنصة للتنبيهات أو التنظيم؟
معظم هذه التكاليف لا يتم تعويضها من خلال آليات بسيطة. يقبل المستخدمون الشروط. قد يكون للمعلنين اعتمادات محدودة. يبني المطورون حول التبعيات على مسؤوليتهم الخاصة. قد لا يكون للشركات الصغيرة أي مطالبة على الإطلاق. هذا الهيكل القانوني يجعل حوكمة ما قبل الحادث أكثر أهمية. إذا كانت المنصة لا تستطيع أو لا ترغب في تعويض معظم الضرر، يجب عليها الاستثمار بكثافة في تقليل التوقف القابل للوقاية والتواصل بوضوح عند حدوث التوقف.
قد لا تحتاج السلطات العامة إلى تنظيم كل انقطاع لمنصة اجتماعية، لكن يمكنها طرح أسئلة نظامية مفيدة. هل المنصات الكبيرة شفافة بشأن الحوادث التي تؤثر على التواصل العام؟ هل تحتفظ بقنوات حالة مستقلة؟ هل تدعم التواصل الطارئ والمدني أثناء الانقطاعات؟ هل تفصح بما يكفي للشركات الصغيرة والمطورين لفهم مخاطر الاعتماد؟ هل يتم التعامل مع مرونة المسار وDNS كبنية تحتية ذات مصلحة عامة داخل الشركة؟
يجب على العملاء حوكمة الاعتماد أيضًا. الشركات التي تستخدم ميتا للتواصل يجب أن تحتفظ بقنوات بديلة، وقوائم اتصال العملاء خارج المنصة، وإجراءات إعلانات التوقف. يجب على المطورين تقييم ما إذا كان تسجيل دخول اجتماعي واحد كافٍ. يجب على المعلنين فهم خيارات الطوارئ للحملات. هذه الخطوات لا تلغي مساءلة ميتا، لكنها تقلل الضرر المنقول عندما تفشل ميتا.
حول انقطاع أكتوبر 2021 فشل صيانة شبكة خاصة إلى درس عام لأن المنصة أصبحت بنية تحتية اجتماعية واقتصادية. الإصلاح الصحيح مشترك ولكنه مرجح بالتحكم. سيطرت ميتا على صيانة وبنية المسار/DNS، لذا تدين ميتا بأقوى دليل. سيطر العملاء على تخطيط الطوارئ الخاص بهم، لذا يجب أن يتعلموا أيضًا. لم يسيطر الجمهور على أي منهما، لذا يستحق دليلًا أوضح على أن الفشل التالي سيفرض تكلفة أقل.
يجب معاملة بنية DNS كوعد من المنصة
جعل الانقطاع DNS يبدو وكأنه تفصيل مكتب خلفي، لكنه كان بالنسبة للمستخدمين وعدًا من المنصة. إذا قام شخص بكتابة نطاق، أو فتح تطبيقًا، أو استخدم خدمة مضمنة في منتج آخر، فإنه يفترض أن الاسم سيتم حله. لا يميزون التطبيق عن DNS الموثوقة، أو سلوك المحلل التكراري، أو إعلانات المسار، أو اتصالية الناقل الأساسي. شرح ميتا الهندسي أظهر لماذا يمكن أن يفشل هذا الافتراض: خوادم DNS قد تكون حية، لكن إذا تم سحب مساراتها، لا يستطيع الجمهور الوصول إليها.
يجب أن يشكل هذا التمييز مراجعة المرونة. يجب تقييم تصميم DNS للمنصة ليس فقط من حيث السعة والزمن، ولكن من حيث استقلال الفشل. هل تتراجع مواقع DNS الموثوقة معًا؟ هل تعتمد على نفس إشارات الناقل الأساسي الداخلي؟ هل يمكنها الاستمرار في تقديم إجابات مفيدة عندما تكون أجزاء من الشبكة الخاصة معزولة؟ هل هناك حواجز ضد فحص صحي صحيح محليًا ولكنه ضار عالميًا؟ هل يختبر المراقبون الخارجيون الحل من شبكات متنوعة بينما الأنظمة الداخلية معطلة؟
كان تحليل Cloudflare وسجلات القياس من ThousandEyes وKentik مهمة لأنها لاحظت الجانب المرئي للمستخدم من فشل DNS. لقد أظهروا أن نظام الأسماء كان جزءًا من الانقطاع، وليس مجرد عرض بعد فشل التطبيق. لذلك يجب أن يعامل تحليل ما بعد الوفاة للمنصة DNS كجزء من المنتج. يحتاج العملاء والمطورون إلى معرفة ما إذا كان فشل الحل أثر فقط على الوصول إلى تطبيقات ميتا أم أيضًا على الخدمات المعتمدة مثل تدفقات تسجيل الدخول، أو الأدوات التجارية، أو التكاملات المضمنة.
يمكن وصف أدلة الإصلاح في فئات. يمكن للمنصة أن تقول إنها راجعت تبعيات DNS الموثوقة، وغيرت معايير سحب المسار، وأضافت فحوصات اتصالية مستقلة، واختبرت سيناريوهات الناقل الأساسي المعزول، وحسنت الحالة خارج النطاق. لا تحتاج إلى نشر كل موقع خادم DNS أو قاعدة توجيه. المصلحة العامة ليست في رسم خريطة المنصة للمهاجمين. إنها في فهم ما إذا كانت الخدمة العالمية قد قللت من فرصة اختفاء بنية الاسم الخاصة بها مع ناقلها الأساسي الخاص.
يجب أن تظهر DNS أيضًا في تخطيط الطوارئ للعملاء. الشركات التي تعتمد على صفحات ميتا، أو الإعلانات، أو واتساب، أو خدمات الهوية يجب أن تعرف أن انقطاع المنصة يمكن أن يبدأ تحت طبقة التطبيق. لا يمكنهم إصلاح DNS الموثوقة لميتا، لكن يمكنهم الاحتفاظ بقنوات اتصال بديلة مع العملاء، وخيارات هوية بديلة حيثما أمكن، ورسائل حالة لا تعتمد على نفس المنصة. هذا عبء متواضع مقارنة بسيطرة ميتا، لكنه لا يزال درسًا مفيدًا.
الدرس الأوسع للإنترنت هو أن التسمية والتوجيه وموثوقية التطبيق لا تنفصل على نطاق المنصة. المنصة الاجتماعية هي أيضًا مشغل DNS ومشغل شبكة. عندما تفشل تلك الطبقات معًا، يختبر المستخدمون انقطاعًا واحدًا. يجب أن تطابق المساءلة تلك الوحدة. يجب على المشغل إثبات أن الطبقات يمكن أن تفشل بشكل أكثر استقلالًا، وتتعافى بشكل أكثر توقعًا، وتتواصل بشكل أكثر وضوحًا في المرة القادمة التي يهدد فيها إجراء صيانة الاتصالية.
يجب أن تتطابق لغة استمرارية الأعمال مع واقع المنصة
غالبًا ما يفكر العملاء التجاريون لميتا بمصطلحات الحملة والجمهور والرسالة والمتجر ومنشئ المحتوى. كشف الانقطاع عن مفردات مختلفة: BGP، DNS، الوصول إلى مركز البيانات، سعة الناقل الأساسي، أدوات التدقيق، وتدريبات العاصفة. برنامج ناضج لما بعد الحادث يجب أن يترجم بين تلك المفردات. لا ينبغي أن يجبر المعلنين والشركات الصغيرة على أن يصبحوا مهندسي شبكة، لكن يجب أن يمنحهم ما يكفي من الحقيقة التشغيلية لوضع خطط استمرارية.
بالنسبة للمعلنين، تشمل الأسئلة ذات الصلة ما إذا كان التسليم توقف، وما إذا تم إنفاق الميزانيات أثناء التوفر المعطل، وما إذا تأخرت التقارير، وما إذا استعادت وتيرة الحملة، وما إذا كانت قنوات الدعم متاحة. بالنسبة للمطورين، تشمل الأسئلة أوضاع فشل المصادقة، وسلوك الرمز، وتجربة المستخدم الاحتياطية، ورسائل الخطأ. بالنسبة للشركات التي تستخدم المراسلة، تشمل الأسئلة بدائل الاتصال بالعملاء والتواصل الاستعادة بعد استعادة الخدمة. كل مجموعة بحاجة إلى ملحق عملي مختلف لنفس الحدث التقني.
هذا شكل آخر من أشكال منع تحويل التكلفة. إذا كانت ميتا تستطيع شرح أنماط انقطاع المنصة بلغة تجارية قبل الانقطاع التالي، يمكن للعملاء الاستعداد. يمكن لتاجر صغير جمع قائمة بريد إلكتروني خارج القنوات الاجتماعية. يمكن للمطور تجنب جعل تسجيل دخول اجتماعي واحد إلزاميًا لجميع الوصول. يمكن للمعلن تحديد ما يجب فعله أثناء انقطاع المنصة العالمي. هذه الخطوات لن تمنع فشل الشبكة، لكنها تقلل التكلفة الثانوية للارتباك.
يبقى واجب المنصة أكبر لأن المنصة تتحكم في الأنظمة الأساسية. لكن تعليم استمرارية الأعمال هو رفيق معقول للإصلاح التقني. إنه يدرك أن خدمات ميتا ليست فقط أسطح ترفيه. إنها أدوات تشغيلية للعديد من الأشخاص الذين ليس لديهم فرق مرونة مؤسسية. تحليل ما بعد الوفاة الذي يتحدث فقط للمهندسين قد يرضي الفضول بينما يترك الشركات المعتمدة غير مستعدة أكثر.