عطل Rogers في 2022 جعل ضوابط التوجيه في النواة اختباراً للمساءلة

الخلاصة

يحدد تقرير CRTC مدة العطل من 04:58 بتوقيت شرق الولايات المتحدة في 8 يوليو إلى 07:00 في 9 يوليو، ويذكر فقدان أكثر من 12 مليون عميل للمحمول والثابت الخدمة [1].
في المرحلة السادسة من ترقية من سبع مراحل حُذف مرشح ACL، فأعيد توزيع جداول BGP كاملة في OSPF واستُنزفت موارد موجهات النواة [1].
بعد نجاح المراحل السابقة خُفض تصنيف المرحلة السادسة من مرتفع إلى منخفض، فلم تعد تتطلب تدقيقاً إضافياً أو موافقة أعلى أو اختباراً مخبرياً [1].
اعتمدت شبكة الإدارة على نواة IP المعطلة، ولم تملك المواقع الحرجة اتصال إدارة من مزود بديل [1].
يتطلب الإغلاق القابل للتحقق سقفاً للمسارات، ومراجعة لمعنى فرق الإعداد، وتراجعاً آلياً، وإدارة خارج النطاق، واختبارات لكل خدمة حرجة.

حذف مرشح فتح الحد بين بروتوكولين

كانت Rogers تنفذ منذ أسابيع ترقية لنواة IP في سبع مراحل. ويحدد تقييم CRTC المحفز في المرحلة السادسة، حين حُذف مرشح سياسة من إعداد موجهات التوزيع [1].

يحمل BGP معلومات الوصول والسياسة بين الأنظمة المستقلة، ويمكنه استيعاب جداول إنترنت ضخمة. أما OSPF فيوزع الحالة الداخلية داخل نطاق تشغيل واحد. وقد يكون نقل مجموعة مختارة مشروعاً، لكن إدخال جدول BGP كامل وغير محدود في بروتوكول داخلي يجبر أجهزة كثيرة على معالجة حالة لم تُصمم لها.

حُذف المرشح عند 04:43. وفي غضون دقيقتين بدأت بوابات النواة تفشل. وعند 04:58 سجل الخط الزمني تدفق مسارات تجاوز قدرة المعالجة. استُنزف المعالج والذاكرة، فتوقفت خدمات المحمول والهاتف المنزلي والإنترنت واتصال الأعمال و9-1-1. واستمر التعافي التدريجي حتى صباح اليوم التالي [1].

كانت رسائل Rogers الأولى أقل تفصيلاً. في 8 يوليو أقر الرئيس التنفيذي بتعطل المحمول والثابت وتحمل المسؤولية [4]. وفي 9 يوليو قالت الشركة إن صيانة النواة أعقبتها مشكلة جعلت موجهات تعمل بصورة خاطئة، وإنها فصلت معدات محددة وأعادت توجيه المرور [5]. تسجل هذه الرسائل معرفة الوقت، بينما يحدد تقرير CRTC اللاحق الآلية الفنية.

التكرار لم يعنِ الاستقلال

لا تحمي كثرة الموجهات إذا قبلت كلها الحالة المفرطة نفسها. يقول التقرير إن الإعداد القياسي، بعد غياب المرشح، سمح لمسارات BGP بالدخول إلى OSPF. وحدد أربع فجوات: حماية موجهات النواة من الحمل، وتقييد عدد مسارات BGP المعلنة إلى OSPF، والتدقيق اليدوي والآلي لأوامر السياسة، والتراجع الآلي [1].

يجب أن يحدد عقد إعادة التوزيع المسارات المسموح بها، وسببها، والحد الأقصى، والسمات المحفوظة، والأجهزة المتلقية، وما يحدث عند التجاوز. لم يكن المرشح سطراً تجميلياً، بل الحد التنفيذي بين نظامي حالة.

إذا وصلت حالة خاطئة إلى كل جهاز احتياطي فإن مجال الفشل يبقى واحداً. يجب أن يوقف سقف صلب أو تحقق قبل النشر أو تراجع آلي السلسلة قبل نفاد موارد الجميع. ولا يكون جهاز الاختبار محدود الأثر إذا كان ينشر الحالة غير المفحوصة فوراً إلى النواة كلها.

تقييم المخاطر كافأ نجاح الماضي

صُنفت الخطة أولاً عالية المخاطر. وبعد نجاح المراحل السابقة خفضت الخوارزمية المرحلة السادسة إلى منخفضة، بما في ذلك حذف المرشح. وبذلك لم تُطلب مراجعة إضافية أو موافقة أعلى أو تجربة في المختبر [1].

لا يثبت نجاح مرحلة أن التالية مماثلة. فقد تمس أجهزة أو فروع سياسة أو مجال فشل مختلفاً. ويمكن لحذف سطر واحد أن يفتح مساحة حالة هائلة. لذلك يجب أن يفهم التقييم معنى الفرق الحالي: حذف مرشح وإعادة توزيع بين بروتوكولين والوصول إلى نواة مشتركة أسباب لتدقيق مرتفع مهما نجحت الخطوات السابقة.

يربط سجل التغيير الجيد الإعداد قبل وبعد، ونية التوجيه المقروءة آلياً، ونتيجة المختبر، وعدد المسارات المتوقع، ونطاق النشر، وشرط التوقف، والتراجع، والمالك. ويجب ألا يرسل الاختبار التجريبي حالته إلى بقية النواة قبل اجتياز الشروط.

النواة المشتركة وسعت الأثر

استخدمت شبكات الوصول المتنقلة والثابتة نواة IP واحدة. لا يعتبر التقرير هذا التصميم الشائع لدى مزود من الفئة الأولى عيباً في حد ذاته، لكنه يقول إن التقارب جعل النطاق شديداً لأن عطلاً واحداً أزال نوعي الوصول معاً [1].

قد يخفض التقارب الكلفة ويحسن الاستخدام، لكنه يضع الصوت والبيانات والإنترنت الثابت والأعمال والطوارئ والإنذارات والمراقبة واتصال الموظفين خلف قرار توجيه مشترك. المطلوب ليس رفض التقارب، بل تحديد الخدمات التي يجب أن تنجو من عطل تحكم واحد وإثبات استقلالها بالتمرين.

يذكر ملخص CRTC أن Rogers قررت فصل نواة المحمول عن الثابت، وأن التنفيذ لم يكن مكتملاً وقت التقرير [2]. ولا تكفي نواتان إذا اشتركتا في الأتمتة الخطرة أو الإدارة أو تسلسل النشر نفسه.

تأثرت مكالمات 9-1-1 والإنذارات العامة. أخطرت Rogers مزودي شبكة 9-1-1 عند 08:39، بعد ثلاث ساعات و56 دقيقة من البداية، ونشرت أول رسالة للعملاء عند 08:54 [1]. وانتقد خطاب CRTC غياب إرشاد مبكر لطرق بديلة للوصول إلى الطوارئ [3]. بعض الأرقام الدقيقة محجوبة ولا يجوز اختلاقها.

تعطلت الإدارة مع الشبكة التي تديرها

اعتمد الوصول البعيد على نواة الإنتاج. وعندما تعطلت، لم يستطع المهندسون الوصول إلى عناصر حرجة. ولم يكن مركز العمليات والمواقع البعيدة المهمة مزودة باتصال إدارة من شركة أخرى، فاضطر الموظفون إلى الوصول المادي للأجهزة [1].

اعتمد اتصال فريق الحادث أيضاً على خدمات Rogers. كانت شرائح الشركات الأخرى محدودة، وسجلات الأخطاء غير متاحة في البداية، واستغرق تحديد السبب نحو 14 ساعة. كما جعل تعدد التغييرات في نافذة الصيانة اختيار التذكرة الواجب التراجع عنها أصعب [1].

يتطلب الاستقلال مساراً مادياً ومنطقياً منفصلاً، وهوية تعمل خارج النواة، ووحدات تحكم محلية، وسجلات محفوظة مستقلة، واتصالاً من طرف ثالث. والدليل هو تمرين تُعزل فيه نواة الإنتاج ومع ذلك يستطيع الفريق الرؤية والمصادقة والتغيير والتراجع.

يشرح RFC 6192 مبدأ عاماً لحماية مستوى تحكم الموجه عبر تحديد المرور المشروع وترشيح غيره أو تحديد معدله [8]. لا يشخص حادث Rogers ولا يحدد إعادة BGP إلى OSPF، لكنه يبين أن سعة التوجيه وسعة التحكم موردان مختلفان.

الإصلاح يحتاج دليلاً من التشغيل

سجل CRTC وسائل لمنع فيضان المسارات، وشبكة إدارة منفصلة مادياً ومنطقياً، واتصالات احتياطية من أطراف ثالثة، وأدوات تحقق من الإعداد، وخوارزمية مخاطر جديدة، واختبارات إضافية، وتراجعاً آلياً أفضل، وأدواراً واتصالات بديلة [1][2]. ورأى أن الحزمة تعالج السبب بصورة مرضية [2].

دليل سلامة التوجيه هو السقف المضبوط، وعدد المسارات المرصود في BGP وOSPF، ورفض تجاوز اختباري، وثبات المعالج والذاكرة. ودليل التغيير هو الفرق الدقيق، والموافقة المستقلة، والمختبر، والاختبار المعزول، والتراجع. ودليل الإدارة هو الوصول والهوية والسجلات والاتصال مع إيقاف النواة.

تُفحص الخدمة من الخارج: تسجيل المحمول، والصوت، والرسائل، والبيانات، والثابت، والأعمال، و9-1-1، والإنذارات، والمعاملات. عودة المسار لا تثبت نجاح المكالمة، وضوء الموجه الأخضر لا يثبت وصول التنبيه.

يعرف ARIN حالياً AS812 باسم ROGERS-COMMUNICATIONS ويسجل Rogers Communications Canada Inc. كصاحب [6]. وينشر PeeringDB AS812 باسم Rogers Cable [7]. هذه سجلات هوية حالية، لا إعادة بناء لنواة 2022. وعلى سطح Heng.lu، السجل دفتر حقوق وهوية، أما الشيفرة العاملة والمسارات المرصودة فتقرر الاستمرارية. لذلك يجب مطابقة كل موافقة إدارية مع مشاهدة شبكية مؤرخة.

عطل Rogers في 2022 جعل ضوابط التوجيه في النواة اختباراً للمساءلة

الخلاصة

حذف مرشح فتح الحد بين بروتوكولين

التكرار لم يعنِ الاستقلال

تقييم المخاطر كافأ نجاح الماضي

النواة المشتركة وسعت الأثر

تعطلت الإدارة مع الشبكة التي تديرها

الإصلاح يحتاج دليلاً من التشغيل

المصادر

سياق أعمق للملف الشخصي

الدائرة الاستراتيجية

تحالف القيادات

إحاطة الدائرة الاستراتيجية

إحاطة تحالف القيادات