Rogers جعلت هشاشة مستوى التحكم في الناقل مشكلة مساءلة عامة

ملخص

• انقطاع Rogers في 8 يوليو 2022 كان بسبب تغيير صيانة أزال مرشح سياسة التوجيه، مما سمح لجداول توجيه BGP الكاملة بالدخول إلى OSPF، مما أدى إلى إرهاق أجهزة التوجيه الأساسية وتعطيل الخدمات اللاسلكية والسلكية على حد سواء. مشكلة المساءلة ليست مجرد المرشح المحذوف؛ بل هي هشاشة الخدمة العامة الناتجة عن مشاركة العديد من الوظائف الحيوية في نفس مستوى التحكم للناقل.
• النداءات الطارئة، والتنبيهات العامة اللاسلكية، والخدمات المصرفية عبر Interac، والعمليات البلدية، ومبيعات الشركات الصغيرة، والعملاء بالجملة، والوكالات العامة، والمشتركون العاديون جميعهم تأثروا بسبب فشل توجيه داخلي واحد. هذا الاتساع يوضح لماذا يجب قياس مرونة الناقل من خلال الوظائف العامة المحفوظة، وليس فقط من خلال وقت استعادة البائع بالتجزئة.
• روجَرز كانت تسيطر على التحقق من تغيير التوجيه، وتقسيم النواة، وحدود التحميل الزائد، والإدارة خارج النطاق، واتصالات الحوادث، وتنسيق خدمات الطوارئ. الهيئات العامة، ومشغلو الدفع، والبنوك، وهيئات النقل، والشركات الصغيرة والمتوسطة كانت تتحكم في خرائط الاعتماد والبدائل الخاصة بها. المساءلة تتبع مواقع التحكم العملية هذه، وليس رؤية الفشل في يوم واحد.
• سجل المعالجة يشمل ضمانات التوجيه، وشبكة إدارة منفصلة، واتصال بمزود بديل، والمزيد من بطاقات SIM من أطراف ثالثة، وبرنامج فصل النواة اللاسلكية والسلكية، وتنوع الناقل لـ Interac، وترتيبات التجوال والمساعدة المتبادلة في حالات الطوارئ عبر الصناعة، وقواعد جديدة لإبلاغ CRTC عن الانقطاعات. الاختبار المتبقي هو ما إذا كانت هذه التدابير تمارس تحت ظروف تطابق فشل 2022.

كان الانقطاع حدثًا في مستوى التحكم مع نصف قطر انفجار للخدمات العامة

في الساعة 4:43 صباحًا بالتوقيت الشرقي في 8 يوليو 2022، أزال موظفو Rogers مرشح سياسة أثناء ترقية النواة IP. وفقًا للتقييم المستقل من Xona Partners الذي نشرته CRTC، سمح هذا التغيير لجداول توجيه BGP الكاملة بإعادة التوزيع إلى OSPF، مما أرهاق أجهزة التوجيه الأساسية وأدى إلى تعطيل الخدمات اللاسلكية والسلكية الوطنية في غضون دقائق. النسخة العامة لتقييم Xona Partners هي أقوى توليفة تقنية لأنها تربط مشغل التوجيه بمخاطر التغيير، والاختبارات المعملية، والوصول الإداري، وتأثيرات خدمات الطوارئ، والمعالجة.

غالبًا ما يوصف الحادث بأنه انقطاع اتصالات، وهو صحيح ولكنه صغير جدًا. فقد مستخدم الجوال بالتجزئة الخدمة. فقد التاجر قبول الخصم. فقدت مدينة اتصالات الموظفين وبعض وصلات التحكم في المرور عن بُعد. لم يتمكن بعض المتصلين بالطوارئ من الوصول إلى 9-1-1. أصبحت خدمات الدفع الوطنية Interac غير متاحة. لذلك عبر حدث الناقل نفسه من جودة الخدمة الخاصة إلى استمرارية القطاع العام والاعتماد الاقتصادي الوطني. أصبحت هشاشة مستوى التحكم في الناقل مشكلة مساءلة للخدمات العامة لأن مستوى التحكم لم يكن يخدم Rogers فقط.

القياسات الخارجية تدعم النطاق العام دون استبدال السبب الداخلي. نظرة Cloudflare لانقطاع Rogers أظهرت فقدانًا شبه كامل لحركة المرور من AS812 التابع لـ Rogers وسحوبات كبيرة للمسارات. تحليل ThousandEyes للانقطاع لاحظ فشل الوصول وتغييرات المسار. المراجعة الفنية اللاحقة لجمعية الإنترنت شرحت لماذا لا ينبغي الخلط بين أعراض BGP العامة والسبب الداخلي البادئ. رأى الإنترنت اختفاء Rogers؛ أظهرت الأدلة التنظيمية خطأ إعادة التوزيع الداخلي الذي جعل الاختفاء ممكنًا.

الفرق مهم للمساءلة. إذا قال السرد فقط أن BGP فشل، تتجه المسؤولية نحو البروتوكول. إذا قال أنه تم إزالة مرشح سياسة التوجيه دون احتواء كافٍ واختبار وحماية من التحميل الزائد، تعود المسؤولية إلى الضوابط التنظيمية. BGP وOSPF كانا أدوات. القرارات الخاضعة للمساءلة كانت السلطة المرفقة بتغيير واحد، والتحقق المطبق على ذلك التغيير، وعدم وجود حدود فعالة لحجم المسار، والمصير المشترك للخدمات اللاسلكية والسلكية، واعتماد أدوات الاسترداد على شبكة الإنتاج التي فشلت.

المشغل، قضية المساءلة الجذرية، والظروف المساهمة

المشغل كان إزالة مرشح سياسة. قضية المساءلة الجذرية كانت مستوى التحكم المشترك الذي سمح لتغيير ناقل واحد بإزالة العديد من الوظائف العامة والتجارية معًا. الظروف المساهمة تضمنت تخفيض مخاطر ترقية متعددة المراحل، واختبار معملي غير كافٍ يمثل الإنتاج، وحماية من التحميل الزائد مفقودة أو غير فعالة، ووصول إداري يعتمد على النواة IP المتأثرة، وقلة اتصال بمزود بديل في المرافق الحيوية، وعمليات اتصال لم تقدم إرشادات عملية سريعة للجمهور أو أصحاب المصلحة في الطوارئ.

تقرير Xona يقول إن الترقية الشاملة بدأت عالية المخاطر، لكن المراحل الناجحة السابقة أثرت على خوارزمية المخاطر وساعدت في خفض المرحلة اللاحقة إلى مخاطر منخفضة. هذه إشارة حوكمة، وليست فنية فقط. نموذج المخاطر تعلم الدرس الخطأ من النجاح السابق. المراحل السابقة يمكن أن تثبت أن فريق المشروع يمكنه تنفيذ خطة؛ وهي لا تثبت أن مرحلة لاحقة تلامس حدود توجيه مختلفة لها نصف قطر انفجار أصغر. كان ينبغي أن يكون قرار التحكم مدفوعًا بأقصى عواقب، وليس بزخم المشروع.

إرشادات التوجيه قد اعترفت منذ فترة طويلة بالحاجة إلى المرشحات والحدود والمراقبة. RFC 7454 من IETF حول عمليات وأمن BGP ليست قاعدة خاصة بـ Rogers ولم تقرر الانقطاع. لكنها تظهر أن تصفية البادئات، وضوابط الحد الأقصى للبادئات، وعمليات التوجيه المنضبطة كانت اهتمامات تشغيلية راسخة. حادثة Rogers تضمنت إعادة توزيع داخلية إلى OSPF، لكن نفس فكرة التحكم تنطبق: معلومات المسار التي تعبر الحدود يجب أن تكون محدودة ومراقبة لأن حجم المسار وأخطاء السياسة يمكن أن تصبح منهجية.

رسائل Rogers العامة المبكرة كانت أكثر عمومية. رسالة الرئيس التنفيذي في 8 يوليو اعترفت بتأثيرات الخدمات اللاسلكية والسلكية، ووعدت بالائتمانات، وقبلت المسؤولية. تحديث 9 يوليو أرجع الحدث إلى تحديث صيانة تسبب في خلل في أجهزة التوجيه. كانت تلك البيانات اعترافات أولى مهمة، لكنها لم تقدم تفاصيل المرشح، وفيض المسار، وشبكة الإدارة، ومكالمات الطوارئ. الفجوة بين الطمأنة المبكرة والأدلة التقنية اللاحقة هي جزء من مساءلة الإشعار.

الأسئلة التنظيمية ملأت الفجوة. طلب CRTC للمعلومات في 12 يوليو طالب تفاصيل حول السبب، وخدمة الطوارئ، والاتصال العام، والوقاية. متابعة 5 أغسطس ضغطت على المرشح المحذوف، والاختبار، وتأخير إشعار 9-1-1، ولماذا نجحت بعض مكالمات الطوارئ بينما فشلت أخرى. تظهر تلك الخطابات ما لم يكن الجمهور يعرفه بعد وما يحتاجه المنظم لتحويل اعتذار المزود إلى سجل مساءلة.

فشل التحقق من التغيير عند حدود العواقب العامة

أخطر ميزة في تغيير 8 يوليو لم تكن أن شخصًا ارتكب خطأ. الميزة الخطيرة كانت أن تغييرًا مرخصًا يمكن أن يزيل حدودًا وقائية ويدفع حالة التوجيه الكاملة إلى مجال لا يمكنه استيعابها. شبكة عالية العواقب يجب أن تفترض أن مشغلًا مرخصًا بشكل صحيح، أو نصًا، أو خطة صيانة يمكن أن تكون خاطئة. يجب أن يسأل نظام التحكم بعد ذلك: ما الذي يمنع التغيير الخاطئ من الانتشار، وما الذي يجعل تأثيره مرئيًا قبل أن يصبح وطنيًا؟

التقييم العام يحدد الحمايات المفقودة. حدود التحميل الزائد الفعالة على أجهزة التوجيه الأساسية كانت غائبة لوضع الفشل هذا. أجهزة التوجيه التوزيعية كانت تفتقر إلى حدود المسار التي كانت ستوقف إعادة التوزيع المفرطة. لم يكشف تدقيق التغيير عن إزالة السياسة الخاطئة. لم يحتوي التراجع التلقائي الحدث. لم يعيد الاختبار المعملي إنتاج حالة الإنتاج الخطيرة. عدة تغييرات خلال الفترة عقدت التشخيص. مجتمعة، تظهر تلك الحقائق مشكلة مستوى تحكم أعمق من سطر واحد من التكوين.

التحقق الجيد من تغيير التوجيه له عدة طبقات. يقارن السياسة المقصودة والفعلية. يحاكي عدد المسارات وعبور الحدود. يحدد المسارات عند الجهاز. ينشر التغيير على جزء محدود من الشبكة. يراقب تقلب المسار واستخدام موارد الجهاز في الوقت الفعلي. يحدد معايير الإلغاء قبل بدء الفترة. يحافظ على إمكانية الوصول إلى مسار التراجع عند تعطل النواة العادية. يراجع ما إذا كان التغيير يمكن أن يؤثر على كل من الخدمات اللاسلكية والسلكية، ومسارات الطوارئ، ووصلات الجملة، والوكالات العامة، وشبكات الدفع. كان على معالجة Rogers أن تعالج تلك الطبقات لأن الفشل عبرها.

العدسة القائمة على العواقب مهمة. بعض التغييرات تشغيلية روتينية ولكنها حاسمة عمومًا. تغيير "تنظيف" يزيل مرشحًا بين مجالات التوجيه ليس منخفض المخاطر لأن عنصر العمل قصير. إنه عالي المخاطر إذا كانت نتيجته الخاطئة يمكن أن تزيل الاتصال الوطني. سؤال المساءلة للمجالس والمنظمين هو ما إذا كانت عملية التغيير يمكنها تحديد ذلك التأثير الأقصى قبل فترة الصيانة، بدلاً من بعد أن يثبت رسم بياني خارجي للانقطاع ذلك.

تقييم CRTC اللاحق لإجراءات Rogers أبلغ أن Xona وجدت الإجراءات مرضية لمعالجة السبب وتحسين المرونة، مع طلب تقارير مستمرة حول الفعالية وفصل النواة. هذه نقطة ضمان ذات مغزى. لا تزال تترك تحدي أدلة عامة. تغيير عملية مكتمل ليس هو نفسه رفض موثق لمحاولة إعادة توزيع مسار خطيرة أثناء تمرين. الجمهور لا يحتاج كل تفاصيل الملكية، لكنه يحتاج إلى الثقة بأن الفئة الدقيقة من الفشل تم اختبارها.

نواة مشتركة جعلت الخدمات المنفصلة تشترك في مصير واحد

تقييم Xona لم يصف نواة لاسلكية وسلكية متقاربة بأنها معيبة بطبيعتها. غالبًا ما يقوم الناقلون الكبار بتوحيد حركة المرور عبر نوى IP مشتركة لتحقيق الكفاءة والأداء وقابلية الإدارة. قضية المساءلة هي ما هي الضوابط التي تصاحب التقارب. إذا كانت نواة منطقية واحدة تحمل العديد من الخدمات، فإن خطأ توجيه واحد يمكن أن يكون له عواقب عديدة ما لم تحافظ التقسيمات والحدود ومسارات الاسترداد على الفصل تحت الضغط.

التكرار المادي لم يحل مشكلة 8 يوليو لأن الفشل كان منطقيًا. أجهزة توجيه ومناطق متعددة يمكنها تنفيذ نفس الحالة الضارة. الأجهزة المكررة ليست مستقلة عندما يمكن لسياسة واحدة أن ترهق جميع الأجهزة ذات الصلة. تنوع البائعين ليس كافيًا عندما تصل حالة المسار نفسها إلى كل منصة. الانتشار الجغرافي ليس كافيًا عندما يكون قرار التحكم وطنيًا. كان الحدث درسًا في المصير المشترك: المكونات يمكن أن تكون منفصلة ماديًا ومقيدة تشغيليًا.

أعلنت Rogers عن برنامج لفصل نوى IP اللاسلكية والسلكية ماديًا. ناقش الرئيس التنفيذي تلك الخطة والاستثمار الأوسع في تصريحات افتتاحية أمام لجنة الصناعة في مجلس العموم. الفصل هو استجابة معقولة لأنه يمكن أن يقلل من احتمالية أن حالة نواة واحدة تعطل كلا فئتي الوصول في وقت واحد. لكن الفصل قوي فقط بقوة العمليات من حوله. نواتان يمكن أن تعيدا اكتساب المصير المشترك من خلال الصيانة المتزامنة، والتنسيق المشترك، والهوية المشتركة، والنقل المشترك، وسياسة المسار المشتركة، أو شبكة إدارة واحدة.

لهذا السبب، يجب أن تشمل أدلة الفصل الدائم تدريبات وخرائط الاعتماد. هل يمكن إيقاف صيانة اللاسلكي والسلكي بشكل مستقل؟ هل يتم تطبيق سياسات المسار بشكل منفصل؟ هل لأداة إدارة التغيير سلطة على كليهما في نفس الوقت؟ هل يمكن لشبكة الإدارة الوصول إلى نواة واحدة عندما تفشل الأخرى؟ هل لمكالمات الطوارئ والتنبيهات العامة والوصول بالجملة ومسارات الدفع حدود مصير مختلفة؟ ميزانية المشروع لا يمكنها الإجابة على هذه الأسئلة. فقط أدلة الاختبار وأدلة العمارة يمكنها ذلك.

السجل العام يظهر هذا الدرس يتجاوز Rogers. أدى جدول أعمال موثوقية الاتصالات في كندا إلى مذكرة تفاهم حول موثوقية الاتصالات بين الصناعة والحكومة، و< a href="https://www.canada.ca/en/innovation-science-economic-development/news/2022/09/statement-from-minister-champagne-on-canadas-telecommunications-reliability-agenda-following-rogers-outage-on-july-8-2022.html">بيان سبتمبر 2022 من ISED صاغ التجوال في حالات الطوارئ والمساعدة المتبادلة والاتصالات كالتزامات قطاعية. هذه الترتيبات مهمة لأن المصير المشترك يجب تقليله عبر الناقلين والأنظمة العامة، وليس فقط داخل نواة Rogers.

أدوات الاسترداد كانت داخل نصف قطر الانفجار الفاشل

استمر الانقطاع لفترة أطول لأن رؤية الاسترداد لـ Rogers كانت تعتمد على الشبكة قيد الإصلاح. وجدت Xona أن الوصول الإداري اعتمد على النواة IP، وكانت السجلات الرئيسية غير قابلة للوصول في البداية، وكانت المواقع الحيوية تفتقر إلى اتصال كافٍ بمزود بديل، ولم يكن لدى المستجيبين ما يكفي من بطاقات SIM من أطراف ثالثة. كان على المهندسين إرسال أشخاص إلى المواقع والعمل مع اتصالات ضعيفة. لم يتم تحديد السبب الجذري لمدة 14 ساعة تقريبًا.

هذا لا يثبت عدم كفاءة الاستجابة. فشل النواة الوطنية معقد، حدثت عدة تغييرات، وكان على الاستعادة تجنب المزيد من التحميل الزائد. إنه يثبت أن استرداد خارج النطاق لم يكن مستقلاً بدرجة كافية. مسار الاسترداد ليس خارج النطاق لمجرد أن له نطاق عناوين منفصل أو اسم داخلي مختلف. يجب أن يبقى على قيد الحياة من النواة الإنتاجية، والناقل الذي يتم إصلاحه، وموقع العمليات الأساسي، والوصول العادي للشركة، وقناة الدعم العادية. يجب أن يظل آمنًا أيضًا. يمكن لمسار طوارئ غير آمن أن يصبح الحادث التالي.

إجراءات Rogers المبلغ عنها تستهدف هذا الضعف: شبكة إدارة مادية ومنطقية منفصلة، واتصال بمزود بديل، والمزيد من بطاقات SIM من أطراف ثالثة لفرق الأزمات، وتنبيهات محسنة، وتراجع محسن. تلك هي الفئات الصحيحة. قيمتها تعتمد على ما إذا كانت تعمل عندما يكون التوجيه الإنتاجي مفقودًا، وعندما تكون سجلات التغيير الأخيرة مضللة، وعندما لا يستطيع الموظفون الاعتماد على خدمة Rogers المحمولة، وعندما يحتاج أصحاب المصلحة الحكوميون إلى تحديثات قبل أن يكون لدى المهندسين سبب جذري. يجب أن يزيل تمرين جدي النواة، ويمنع الوصول الإداري العادي، ويتطلب تنسيقًا ميدانيًا، ويقيس الوقت اللازم للحصول على سجلات موثوقة وإرشادات عامة.

هذه النقطة تمتد إلى الوكالات العامة والشركات. مدينة لديها أجهزة محمولة احتياطية كلها على نفس الناقل ليس لديها قناة حوادث مستقلة عن الناقل. محطة دفع يمكنها التبديل إلى البيانات المحمولة على نفس المزود مثل الارتباط الثابت قد لا يكون لديها تنوع المسارات. الأعمال التي تخزن جهات الاتصال الخاصة بالاستمرارية فقط في تطبيق سحابي يتم الوصول إليه من خلال الاتصال الفاشل قد لا تكون قادرة على التواصل. الناقل يمتلك فشل الشبكة؛ العملاء يمتلكون الافتراض بأن أدوات الاسترداد الخاصة بهم خارجه.

مراجعة التأثير التشغيلي لمدينة تورونتو تجعل هذا ملموسًا. أكثر من نصف أجهزة الأعمال المحمولة لموظفي المدينة كانت تعتمد على Rogers. تأثرت دور الرعاية طويلة الأمد، وعيادات التطعيم، والملاجئ، وWi-Fi العام، والمدفوعات، وتنسيق الموظفين، ووصلات التحكم في المرور عن بُعد بطرق مختلفة. تكيفت المدينة بأجهزة احتياطية وعمليات يدوية، وهي قوة. المراجعة تظهر أيضًا لماذا يجب على الهيئات العامة رسم خريطة الاعتماد على الناقل عبر الإدارات قبل أن يكشفها انقطاع وطني.

المكالمات الطارئة هي أعلى اعتماد من حيث العواقب

أخطر تأثير على الخدمة العامة شمل 9-1-1. وجد تقييم Xona أن العديد من عملاء Rogers لم يتمكنوا من الوصول إلى خدمات الطوارئ. نجحت بعض المكالمات من خلال مسارات شبكة أقدم أو ناقلين آخرين، لكن النسخة العامة تحجب المعدلات الدقيقة للنجاح. لا ينبغي للحساب المسؤول أن يخترع رقمًا. يكفي ذكر المشكلة المؤكدة: الانقطاع أضعف الوصول إلى الطوارئ لجزء كبير من العملاء المتأثرين، ولم يخطر Rogers مقدمي شبكات 9-1-1 إلا بعد ما يقرب من أربع ساعات من المشغل.

استمرارية الطوارئ تتطلب أكثر من مجرد إعطاء أولوية لحركة مرور الطوارئ على شبكة سليمة. إذا لم تستطع النواة حمل المكالمة، فإن الأولوية لا تساعد. إذا كان الهاتف لا يزال يرى شبكته المنزلية كموجودة، فقد لا يتجول. إذا لم تتلق نقاط الإجابة على السلامة العامة إشعارًا مبكرًا، لا يمكنها الاستعداد. إذا لم يتلق الجمهور إرشادات بديلة عملية، قد لا يعرف الأشخاص تحت الضغط ماذا يفعلون. هدف التحكم هو إكمال طلب الطوارئ من النهاية إلى النهاية، وليس ضمانًا داخليًا بأن نظامًا فرعيًا واحدًا يعمل.

رسالة لجنة الصناعة في مجلس العموم بشأن انقطاع Rogers الواسع دعت إلى آليات نقل خدمات الطوارئ، والتكرار، وتحسين إشعار العملاء. تناولت مذكرة التفاهم حول الموثوقية لاحقًا التجوال في حالات الطوارئ والمساعدة المتبادلة، رهناً بالجدوى الفنية. المؤهل مهم. حالة يوليو 2022 هي بالضبط نوع السيناريو الذي يمكن أن يجعل التجوال العادي في حالات الطوارئ صعبًا: قد تظهر الشبكة جزئيًا مع استمرار عدم توفر النواة اللازمة لإكمال المكالمة.

مساءلة خدمة الطوارئ مشتركة ولكنها غير متساوية. كان لدى Rogers التحكم العملي في نواتها، ومسارات مكالمات الطوارئ، وإشعارها لأصحاب المصلحة في 9-1-1، ورسائلها العامة. سيطر الناقلون الآخرون على السعة والترتيبات الفنية لاستقبال حركة مرور الطوارئ عندما يكون ذلك ممكنًا. سيطرت الحكومة على السياسة والرقابة التنظيمية وقنوات التنبيه العام. شكل سلوك الجهاز والمعايير التخاذل. لا ينبغي إخبار الجمهور بوجود تخاذل دون إخبارهم بحالات الفشل التي تم اختبارها فيها.

إشعار الاستشارات CRTC 2023-39 و قرار CRTC 2025-225 يظهران الاستجابة التنظيمية تتجه نحو إشعار إلزامي بالانقطاع الكبير، وتحديثات، وإشعارات استعادة، وتقارير ما بعد الانقطاع. قواعد الإبلاغ لا تمنع فيضانات المسار، لكنها تقلل من احتمالية أن ينتظر عمال السلامة العامة والحكومة في حالة عدم يقين بينما يشخص المزود نفسه.

المدفوعات والشركات الصغيرة أظهرت تركيزًا خفيًا

أصبحت خدمات Interac للخصم والتحويل الإلكتروني غير متاحة أثناء انقطاع Rogers. مدد ذلك الحدث إلى الأشخاص والتجار الذين ربما لم يعتبروا أنفسهم معتمدين على Rogers. تحديث حالة Interac ومعالجتها قال إن الشركة لديها شبكات زائدة وتنوع دوائر، ومع ذلك أظهر انقطاع 8 يوليو أن تلك الترتيبات ظلت ضعيفة جدًا أمام صيانة النواة لـ Rogers. أضافت Interac لاحقًا ناقلاً ثانويًا، ورابطًا ثالثًا بسعة كافية للنسخ الاحتياطي، ووضع نسخ احتياطي خاص آمن لمشاركي التحويل الإلكتروني.

هذه الاستجابة مهمة لأنها تقبل المسؤولية على مستوى شبكة الدفع. Rogers تسبب في فشل الناقل، لكن Interac كانت تسيطر على تصميم اتصال شبكة الدفع والتبديل. نظام الدفع لا يمكنه الاعتماد على تأكيد المزود بأن الدوائر متنوعة إذا كانت تلك الدوائر لا تزال تشترك في نواة ناقل واحد. السؤال الخاضع للمساءلة هو من النهاية إلى النهاية: هل يمكن لترخيص دفع التاجر، واتصال مشارك البنك، ومكافحة الاحتيال، ورسالة التسوية، والتحويل المواجه للعميل الاستمرار عندما يختفي ناقل وطني واحد؟

بالنسبة للشركات الصغيرة، أزال الانقطاع الإنترنت والخدمة المحمولة والصوت وقبول الدفع والطلبات عبر الإنترنت وتطبيقات التوصيل وتنسيق الموظفين واتصال العملاء في وقت واحد. تقرير كنديان برس الذي استضافته CityNews حول خسائر الشركات الصغيرة والمتوسطة أثناء انقطاع Rogers يعطي أمثلة لشركات خسرت مئات أو آلاف الدولارات، لكنه ليس تدقيقًا وطنيًا للخسائر. التقرير السنوي 2022 لـ Rogers أبلغ عن حوالي 150 مليون دولار كاستردادات للعملاء. هذا الرقم هو تكلفة الشركة، وليس إجمالي الضرر الاقتصادي.

يجب أن تكون استمرارية الشركات الصغيرة والمتوسطة واقعية. متجر صغير لا يمكنه شراء بنية تعافي من الكوارث واسعة النطاق. يمكنه معرفة ما إذا كانت محطة الدفع الخاصة به يمكنها استخدام Ethernet وWi-Fi، والاحتفاظ بنقطة اتصال (هوتسبوت) مختبرة على ناقل مختلف، والحفاظ على إجراء نقدي أو دفع مؤجل، والحفاظ على الوصول دون اتصال للمواعيد وجهات اتصال الموردين، وفهم أدوات التوصيل أو الطلب التي تشارك نفس الشبكة. هذه الخطوات لا تعفي فشل الناقل. إنها تقلل من احتمال أن يصبح انقطاع مزود واحد إغلاقًا كاملاً للنشاط التجاري.

يجب أن تقلل السياسة العامة أيضًا عبء الأدلة على الشركات الصغيرة. يتحكم الناقل في سجلات الانقطاع الأكثر اكتمالاً؛ يرى التاجر فقط مبيعات فاشلة وعملاء مرتبكين. يجب أن توفر العملية العادلة فترات الخدمة المتأثرة والمواقع ومعلومات الأهلية للعميل على الفور. أرصدة الخدمة مفيدة ولكنها غالبًا غير متطابقة مع الأعمال المفقودة. يجب أن يفصل سجل المساءلة بين استردادات التجزئة، ومطالبات الخسارة التبعية، والعقوبات التنظيمية، والآثار الاقتصادية عبر الصناعة بدلاً من ترك رقم واحد يمثل كل شيء.

توقيت الحالة العامة هو جزء من المرونة

يحتاج العملاء والهيئات العامة إلى معلومات حالة مبكرة ومفيدة حتى عندما يكون السبب الجذري غير معروف. انتقد خطاب CRTC الأول المعلومات العامة المحدودة وعدم وجود إرشادات بديلة لـ 9-1-1. هذا النقد ليس حول الصقل العلاقات العامة. توقيت الحالة هو تشغيلي. يخبر المدينة ما إذا كان يجب تفعيل مركز الطوارئ، والتاجر ما إذا كان يجب تغيير أوضاع الدفع، والبنك ما إذا كان يجب تحذير العملاء، ونقطة الإجابة على السلامة العامة ما إذا كان يجب توقع أنماط اتصال غير عادية.

عملية حالة خاضعة للمساءلة تفصل بين التأثير الملحوظ، والسبب المشتبه به، والإجراء الموصى به. "نحن نحقق" قد يكون صادقًا، لكنه غير مكتمل عندما تتأثر مكالمات الطوارئ والمدفوعات والخدمات العامة. يجب أن يذكر الإشعار المبكر فئات الخدمة المعروفة، والانتشار الجغرافي، وآثار مكالمات الطوارئ إذا كانت معروفة، والطرق البديلة إذا كانت متاحة، ووقت التحديث التالي، وكيف يمكن لأصحاب المصلحة تلقي إشعارات مباشرة. يجب أن يميز النقاط غير المؤكدة بدلاً من انتظار التشخيص المثالي.

سجل إجراءات CRTC العامة يوثق سلسلة طويلة من طلبات المعلومات، ونزاعات الإفصاح، والتقييم، وإعداد التقارير عن التقدم. هذا السجل العام مهم لأن انقطاعات الاتصالات ليست حوادث خاصة. يعمل الناقلون على بنية تحتية ذات عواقب على الخدمة العامة. يجب أن تكون أدلة ما بعد الحادث متاحة بما يكفي للمنظمين والبلديات والمنافسين ومنظمات الطوارئ والشركات والمستهلكين لرؤية ما إذا كان الانقطاع مفهوماً وما إذا كانت المعالجة قابلة للتحقق.

قواعد الإبلاغ الجديدة لـ CRTC تجعل الإشعار أكثر رسمية، لكن جودة الإشعار لا تزال تعتمد على تصنيف الحادث. عتبة تعتمد فقط على عدد العملاء أو المدة قد لا تستوعب انقطاعًا ذا أهمية فورية للطوارئ أو الدفع أو القطاع العام. يجب على المزود التصعيد عندما تتأثر الوظائف الحيوية، وليس فقط عندما تنضج مقاييس التجزئة. نفس المبدأ ينطبق على العملاء الحكوميين: يجب أن يطلبوا جهات اتصال تشغيلية مباشرة وأدلة حالة في العقود، بدلاً من الاعتماد فقط على منشورات وسائل التواصل الاجتماعي العامة.

أنظمة الحالة تحتاج أيضًا إلى الاستقلال. إذا كان موقع المزود على الإنترنت، ومركز الاتصال، والمراسلة الداخلية، وتغذية الحالة تعتمد جميعها على الشبكة المتأثرة، يفقد الجمهور الخريطة أثناء الانقطاع. أظهر تحدي الاسترداد لـ Rogers أنه حتى المستجيبين الداخليين احتاجوا إلى اتصال بديل. يحتاج الاتصال العام إلى نفس التنوع: صفحات مستضافة بشكل منفصل، وعلاقات وسائل الإعلام الإذاعية، وقنوات ترحيل حكومية، وإشعارات موثقة مباشرة لشركاء الطوارئ والقطاع العام.

العملاء بالجملة والمؤسسات يحولون ناقلًا واحدًا إلى العديد من المزودين

تصبح مساءلة الناقل أصعب عندما لا يشتري الطرف المتضرر الخدمة مباشرة من الناقل الذي فشل. العملاء بالجملة، ومزودو الخدمات المدارة، والبنوك، ومستحوذو الدفع، والوكالات العامة، ومشغلو النقل يمكن أن يكونوا جميعًا في اتجاه تدفق سعة Rogers دون أن يفهم كل مستخدم نهائي تلك العلاقة. يرى العميل تطبيقًا، أو محطة، أو كاونتر حكومي، أو بائعًا. الاعتماد الخفي هو نواة الناقل تحته.

ذلك الهيكل الخفي يغير الإشعار والمعالجة. عميل التجزئة المباشر لـ Rogers قد يحصل على رصيد فاتورة وبيان عام. عميل بالجملة قد يحتاج إلى أدلة تقنية لإخطار عملائه. بنك أو مزود دفع قد يحتاج إلى معرفة ما إذا كانت فشل المعاملات جاء من تطبيقه، أو اتصال المشارك، أو ضوابط الاحتيال، أو إمكانية الوصول إلى الناقل. مدينة قد تحتاج إلى معرفة أي الأجهزة والخدمات المستأجرة تشترك في Rogers تحت إدارات مختلفة. إذا كانت Rogers يمكنها فقط تحديد التأثير الواسع للتجزئة بسرعة، فإن المؤسسات في اتجاه التدفق تتحمل فترة عدم يقين أطول.

سجل CRTC مهم لأنه يحول ذلك الاعتماد الخفي إلى إجراء عام بدلاً من سلسلة من تذاكر الدعم الخاصة. أسئلة المنظم حول خدمة الطوارئ، والتنبيهات العامة، وتأثيرات الجملة، والاتصال لم تكن فضولًا بيروقراطيًا. كانت الآلية التي بدأت بها خريطة الاعتماد الوطنية تصبح مرئية. نفس الشيء صحيح بالنسبة لبيان معالجة Interac. Interac لم تقل ببساطة أنها كانت ضحية لـ Rogers. وصفت التكرار الموجود مسبقًا لديها، واعترفت بأن الحدث أظهر ضعفًا متبقيًا، وأضافت تنوع الناقل. هذا هو كيف يجب أن يتصرف مزود في اتجاه التدفق عندما يكشف فشل الناقل في اتجاه المنبع عن تصميمه الخاص.

يجب أن تأخذ البنوك والمؤسسات الكبيرة نفس الدرس. دائرتان من فريقين منتجين قد تتقاربان على نفس نواة الناقل. محطة دفع قد تحتوي على Ethernet ونسخ احتياطي خلوي بينما يعتمد كلا المسارين على ناقل واحد. رابط سحابي أو مركز بيانات قد يبدو منفصلاً لأن الفاتورة تستخدم اسم مزود مختلف، بينما يبقى الطرف الوصولي أو العمود الفقري الوطني مشتركًا. يجب أن تتبع مراجعة الاعتماد الخدمة إلى شبكة الوصول الفعلية، والنواة، والتبادل، والمصادقة، ومسار الإدارة. يجب أن تسأل من يملك كل مسار وما إذا كان حدث مستوى تحكم واحد للناقل يمكن أن يزيلها جميعًا.

النتيجة العامة ليست أن كل منظمة يجب أن تتخلى عن Rogers أو تشتري تنوعًا غير محدود. التنوع له تكلفة، وبعض الوظائف يمكنها تحمل الانقطاع. النتيجة هي أن وظائف السلامة الحياتية، والمواعيد النهائية القانونية، والدفع، والرعاية، والنقل، والمعلومات العامة تحتاج إلى فصل مصير صريح. تاجر قد يختار بطاقة SIM احتياطية منخفضة التكلفة من ناقل آخر. بنك قد يحتاج إلى اتصال خاص هندسي. مدينة قد تحتاج إلى رسم خرائط مباشر للناقل للعمليات الطارئة. المستوى الصحيح يعتمد على العواقب، ولكن يجب أن يكون القرار مرئيًا قبل الحدث الوطني التالي.

يجب أن يعيد الاختبار إنتاج الأجزاء غير المريحة من فشل 2022

أكثر أدلة المعالجة مصداقية لن تكون بيانًا بوجود ضوابط جديدة. سيكون تمرينًا يعيد إنتاج الظروف القاسية لـ 8 يوليو. يجب أن يزيل التمرين الوصول الإداري العادي، ويجعل سجلات الصيانة الأخيرة غامضة، ويمنع الموظفين من الشبكة المحمولة الأساسية، ويخلق ضغطًا من أصحاب المصلحة في خدمات الطوارئ، ويجبر على تحديثات عامة قبل أن يكون السبب الجذري نهائيًا. يجب أن يختبر أيضًا ما إذا كان خطأ مجال توجيه واحد لا يزال يمكنه نقل حالة مسار مفرطة إلى النواة، وما إذا كانت الحدود التلقائية توقفه، وما إذا كان التراجع يعمل دون استخدام المسار الفاشل.

الكثير من التمارين مهذبة جدًا. تفترض أن جسر الحادث يعمل، وأن الأشخاص المناسبين يمكن الوصول إليهم، وأن نظام المراقبة متاح، وأن الفرضية الأولى قريبة بما فيه الكفاية. أظهر انقطاع Rogers لماذا يجب أن يحرم التمرين تلك الراحة. شبكة إدارة منفصلة لها قيمة فقط إذا كان المهندسون يمكنهم استخدامها عندما تكون نواة IP الإنتاجية معطلة. اتصال مزود بديل له قيمة فقط إذا كانت السعة وبيانات الاعتماد والوصول المادي جاهزة. بطاقات SIM من أطراف ثالثة لها قيمة فقط إذا تم تعيينها لأدوار، واختبارها، وشحنها، ومعروفة للمستجيبين. التجوال في حالات الطوارئ له قيمة فقط إذا كانت حالة الشبكة المنزلية الفاشلة تؤدي فعليًا إلى تشغيل مسار بديل قابل للاستخدام.

بالنسبة للوكالات العامة، يجب أن يزيل التمرين المطابق Rogers من يوم عمل. هل يمكن لمركز العمليات الطارئة الاتصال بالموظفين الميدانيين؟ هل يمكن لدور الرعاية الوصول إلى معلومات المقيمين؟ هل يمكن للعيادات تسجيل الخدمة يدويًا وتسويتها لاحقًا؟ هل يمكن تحديث المواقع الإلكترونية العامة وقنوات التواصل الاجتماعي من خلال اتصال مختلف؟ هل يمكن استمرار قبول الدفع للخدمات الأساسية؟ هل يمكن لأنظمة المرور العمل محليًا بينما المراقبة المركزية معطلة؟ أظهر تقرير تورونتو العديد من التعديلات الجزئية؛ الخطوة التالية هي تحويل تلك التعديلات إلى إجراءات مختبرة بدلاً من مرونة ارتجالية.

يجب أن تكون تمارين شبكة الدفع ملموسة بنفس القدر. يجب اختبار سعة النسخ الاحتياطي الجديدة لـ Interac مع البنوك المشاركة، والمستحوذين، وضوابط الاحتيال، وإشعار العملاء، وحجم المعاملات. يجب أن يتحقق الاختبار ليس فقط من وجود الروابط، ولكن من أن التبديل يحمل حركة مرور حقيقية دون إنشاء حالة معاملة غير متسقة. يجب أن يقرر وضع التدهور الآمن، وكيف يتم إخبار العملاء، وما الأدلة التي يتلقاها التجار، وكيف تتعامل عمليات التسوية والنزاع مع المعاملات المتقطعة. شبكة دفع تحافظ على توفر المراسلة الأساسية بينما لا تستطيع المحطات الوصول إلى المستحوذين لم تحافظ على التجارة.

الشركات الصغيرة تحتاج إلى نسخة أخف من نفس التفكير. يمكن لمطعم إجراء تمرين صباحي يتعذر فيه الوصول إلى الإنترنت الأساسي والخدمة المحمولة لمدة ساعة. يمكنه اختبار ما إذا كان الموظفون يعرفون نقطة الاتصال البديلة، وما إذا كانت محطة الدفع تعمل من خلالها، وما إذا كان يمكن إيقاف الطلب عبر الإنترنت، وما إذا كان يمكن فوترة العملاء المنتظمين لاحقًا، وما إذا تم التقاط سجلات الخسارة. التمرين لا يلغي مسؤولية الناقل. إنه يعطي النشاط التجاري طريقة للبقاء على قيد الحياة في الساعات الأولى بينما يقوم الناقل والمنظمون بعملهم.

يجب أن تكون الأدلة عامة بما يكفي لتغيير السلوك

لا يمكن لمشغلي الاتصالات نشر طبولوجيا النواة الكاملة، أو قواعد الأجهزة، أو المسارات الحساسة للأمن. الضمان العام لا يزال بحاجة إلى أكثر من وعود رفيعة المستوى. سجل معالجة عام مفيد سيلخص وضع الفشل، والضوابط المضافة ضد هذا الوضع، ونطاق المراجعة المستقلة، وحالة فصل النواة، والاختبارات المنجزة، والحدود المتبقية. سيوضح ما إذا تم اختبار التخاذل في مكالمات الطوارئ تحت حالة شبكة جزئية، وما إذا تم التحقق من صحة تسليم التنبيهات العامة بشكل منفصل، وما إذا كان الوصول الإداري قد نجا من تمرين فشل النواة، وما إذا كانت اتصالات مزود بديل متاحة لفرق الأزمات.

نفس مبدأ الأدلة العامة ينطبق على المؤسسات التي تعتمد على Rogers. تحديث Interac قيم لأنه يقول ما تغير: ناقل ثانوي، رابط ثالث بسعة كافية، ووضع نسخ احتياطي خاص لمشاركي التحويل الإلكتروني. تقرير مدينة قيم لأنه يحدد الوظائف التي فشلت والحلول البديلة المستخدمة. قرار CRTC قيم لأنه يحول الإشعار والإبلاغ إلى التزامات دائمة. كل قطعة تغير السلوك المستقبلي لأنها تعطي منظمات أخرى شيئًا محددًا لنسخه أو استجوابه أو اختباره.

أضعف دليل هو عبارة مثل "استثمرنا في المرونة" بدون وصف مجال الفشل. الاستثمار قد يشتري السعة، لكن حدث يوليو 2022 لم يكن بشكل رئيسي نقصًا في السعة. كان فشل مستوى تحكم ومصير مشترك. لذلك يجب أن تكون الأدلة حول الحدود: أي التغييرات لا يمكنها العبور من BGP إلى OSPF بدون حدود، وأي وظائف النواة منفصلة، وأي مسارات إدارة لا تعتمد على النواة الإنتاجية، وأي مسارات طوارئ تم اختبارها، وأي شركاء في اتجاه التدفق لديهم إشعار مباشر. المال هو المدخل. فصل المصير هو النتيجة التي تهم.

ما الأدلة التي من شأنها إغلاق حلقة المساءلة

سجل Rogers أقوى من العديد من سجلات الانقطاع لأن التقييم المستقل يشرح آلية التوجيه والعديد من خطوات المعالجة. حلقة المساءلة لا تزال تتطلب أدلة على مدار الوقت. تقرير لمرة واحدة يمكنه وصف ضوابط جديدة؛ فقط الاختبار المتكرر يمكنه إظهار أنها تظل فعالة عندما يتغير الموظفون والطبولوجيا والموردون وأنماط حركة المرور.

بالنسبة لـ Rogers، الأدلة المفيدة ستشمل إثباتًا بأن حدود إعادة توزيع المسار مفروضة، وأن التغييرات عالية العواقب تظل عالية المخاطر بغض النظر عن نجاح المرحلة السابقة، وأن الاختبارات المعملية تشمل أعداد مسارات بحجم الإنتاج، وأن التراجع التلقائي يتم ممارسته، وأن شبكة الإدارة تبقى على قيد الحياة عند فشل النواة، وأن فصل اللاسلكي والسلكي لا يتم تقويضه بواسطة العمليات المشتركة، وأن التخاذل في مكالمات الطوارئ تم اختباره تحت حالة تكون فيها الشبكة المنزلية متاحة جزئيًا. الملخصات العامة يمكنها تقديم ضمان دون كشف التكوين الحساس.

بالنسبة لـ Interac والبنوك، ستشمل الأدلة اختبارات التبديل على مستوى الناقل، وإثبات سعة المشارك، وتدريبات وضع النسخ الاحتياطي، وسلوك مكافحة الاحتيال في التشغيل المتدهور، وطرق اتصال العملاء، وتسوية التسوية. بالنسبة للبلديات والوكالات العامة، ستشمل الأدلة جرد تنوع الناقل، ورسم خرائط عملية السلامة الحياتية، والأجهزة البديلة المخصصة لأدوار مسماة، والإجراءات اليدوية، والتمارين التي تزيل الناقل الأساسي دون سابق إنذار. بالنسبة للشركات الصغيرة والمتوسطة، يمكن أن تكون الأدلة أبسط: مسار دفع بديل مختبر، ونقطة اتصال من ناقل مختلف، وقوائم اتصال دون اتصال، وسجلات مطالبات موثقة.

دور المنظم هو منع الأدلة من الذوبان في ضمان خاص. CRTC لا تحتاج إلى نشر كل سر شبكة لطلب أداء ضد وضع الفشل المعروف. يمكنها طلب تقارير مرحلية، وتقارير حوادث، ومقاييس خدمة الطوارئ، وحقوق التدقيق. يمكن لـ ISED الحفاظ على الترتيبات القطاعية للمساعدة المتبادلة والتجوال في حالات الطوارئ. يمكن للمشترين البلديين طلب شفافية الاعتماد. تصبح المساءلة العامة حقيقية عندما يتمكن الأشخاص المتضررون من المصير المشترك من رؤية أن المصير المشترك قد تم تقليله.

انقطاع Rogers لم يثبت أن نواة الناقل المتقاربة خاطئة دائمًا. أثبت أن التقارب يحمل واجبات عامة. الناقل الذي يضم العديد من الخدمات من خلال مستوى تحكم واحد يجب أن يتحقق من التغييرات بالعواقب، ويحافظ على أدوات الاسترداد خارج مجال الفشل، ويحافظ على الوصول إلى الطوارئ، ويتواصل قبل اكتمال اليقين، ويظهر أدلة مختبرة على أن خطأ توجيه داخلي واحد لن يزيل مرة أخرى المدفوعات والخدمات العامة والوصول إلى الطوارئ والاتصال العادي معًا. أسماء البروتوكولات تهم. وظائف الخدمة العامة تهم أكثر.