حدود جداول التوجيه في انقطاع Comcast 2021: اختبار للمساءلة

الملخص

• أفادت ThousandEyes عن انقطاعين متمايزين في شبكة Comcast في ٨ و٩ نوفمبر ٢٠٢١. بدأ الأول حوالي الساعة ٩:٤٤ مساءً بتوقيت المحيط الهادئ في ٨ نوفمبر وانتهى حوالي الساعة ١٠:٤٨ مساءً. وبدأت الثانية حوالي الساعة ٥:٠٥ صباحًا في ٩ نوفمبر وانتهت حوالي الساعة ٦:١٥ صباحًا.[1]

• خلال الحدث الأول، أظهرت الاختبارات الخارجية فقدان حزم في المسارات العابرة لنواة سانيفال في شبكة Comcast. ظلت بعض الحركة التي بدأت عبر مسارات أخرى ناجحة، ثم فشلت بعد إعادة توجيهها عبر سانيفال. هذا التسلسل دليل على مسارات الإرسال المرصودة، وليس سجلًا كاملاً للبنية الداخلية أو التهيئة داخل Comcast.[1]

• شهد الحدث الثاني بُصمة مرصودة أوسع. أبلغت ThousandEyes أن بعض حركة مرور الولايات المتحدة الوسطى والشرقية وُجّهت مؤقتًا نحو سانيفال حتى عندما كانت نقاط النهاية بعيدة عن كاليفورنيا. تناوبت بعض المسارات بين فقدان كامل وإمكانية الوصول الناجحة، وهو سلوك وصفه التحليل على أنه مرتبط لاحتمالًا بـ"تذبذب طبقة التحكم".[1][3]

• نسبت مراجعة ThousandEyes اللاحقة الحادثة إلى تجاوز غير مقصود لحد جدول التوجيه.[2] لا تُحدّد الحزمة العامة الجهاز الدقيق أو الجدول أو الحد المكوّن أو سلوك البرنامج أو الأمر أو صاحب التغيير أو البائع أو تسلسل الموافقات. لذلك يجب أن يبقى تفسير الحد المعلَن منسوبًا وليس مقدمًا كتحقيق ما بعد الحادث شامل ومكتمل على Comcast.

• حد جدول التوجيه هو عنصر مساءلة لأن المشغلين يمكنهم قياس امتلاء الجدول، ومعدل النمو، والهامش المحجوز، وحدود الإنذار، وسلوك الفشل والتعافي. لا يُكشف في المصادر المجمدة ما إذا كانت هذه القياسات موجودة أو فعالة داخل Comcast.

• إعادة التوجيه لم تُنتج دائمًا مسارًا مستقلًا. كما فشلت الحركة المعاد توجيهها إلى القلب المتعطل في سانيفال أيضًا. لذا تعتمد الاستمرارية على فصل نطاق الفشل، وليس مجرد وجود حساب مسار آخر.

• سجل RDAP الخاص بـARIN لِـAS7922 يوفّر سياقًا لنَسَب الموارد الشبكية.[9] لكنه لا يكشف عن المسارات المفعلة حاليًا في موجه Comcast، أو حالة انعكاس المسارات الداخلية، أو استغلال الجدول، أو نتيجة التحويل لمسار حزمة محددة.

• تشرح وثائق IETF تشغيل BGP، والتقارب، وانعكاس المسارات، والتغيير المرحلي، واكتشاف الأعطال.[10]-[20] وهي توفر مفردات التحكم وسياقًا تصميميًا عامًا أو لاحقًا. لكنها لا تثبت الآليات التشغيلية التي نشرتها Comcast في نوفمبر ٢٠٢١، ولا تُعدًّ استنتاجات للذنب.

• تؤسس قواعد FCC لإبلاغ الأعطال سجلاً للمساءلة حول الأعطال الموصوفة كمؤهلة.[7][8] المصادر العامة هنا لا تكشف عن البلاغ السري الذي قدمته Comcast لهذا الحدث. ولا يمكن اعتبار الالتزام بالإبلاغ دليلاً على تقرير تقني عام كامل.

• الأدلة تدعم استنتاجًا تشغيليًا قابلًا للقياس لا اتهامًا. تحكمت Comcast في سعتها التوجيهية الداخلية، وبنيتها، وتنبيهاتها، وعملية التغيير، والتواصل مع العملاء، والتعافي. أما المراقبون الخارجيون فسيطروا على طرق القياس والتفسير. والمُنظمون تحكموا بمتطلبات الإبلاغ. ولا يثبت السجل المتاح وجود نية أو إهمال أو مسؤولية قانونية أو مسؤولية فردية.

سؤال المساءلة

حادثا نوفمبر ٢٠٢١ في أهمية كبيرة لأن الإنترنت لم ينقطع كمفهوم سحابي مجرد. توقفت مسارات مرور محددة عن الإرسال، في حين وجهت بعض حسابات المسارات البديلة الحركة إلى نفس القلب المعطوب، وعادت الخدمة بعد تغير حالة الشبكة. هذه سلسلة تشغيلية مرئية وقابلة للرصد. وهي تخلق سؤال مساءلة أدق من التساؤل المطلق عمّا إذا كان مزود كبير يمكنه أن يتعرّض لعمليات انقطاع.

السؤال هو ما إذا كانت الضوابط التي تحكم سعة جدول التوجيه وسلوك نطاق الفشل كانت قابلة للاختبار قبل وقوع الحدث. يمكن للمشغل أن يعرف عدد المسارات التي يمكن أن يجهزها جهاز أو عملية. يمكنه معرفة الامتلاء الحالي، ومعدل زيادة الحالة، وكمية السعة المحجوزة للتقارب، وسلوك الإنذارات التحذيرية والحرجة، وما إذا كانت عناصر التحكم الاحتياطية تشترك في نفس السقف. يمكنه اختبار ما إذا كان تعطل عقدة أو منطقة يوجّه الحركة فعليًا لمسار مستقل بالفعل. ويمكنه الاحتفاظ بالأدلة التي تُظهر متى نُشط الإنذار، ومن قام بالإجراء، وما الذي تغيّر، وكيف استعيد التوجيه.

الأدلة العامة لا تكشف إجابات Comcast عن هذه الأسئلة. قدّمت ThousandEyes ملاحظات خارجية من نقاط الرصد الخاصة بها ونسبت لاحقًا الحادث إلى تجاوز حد جدول التوجيه.[1][2] لم تنشر Comcast سجل التهيئة الخاص بها، ولا البيانات التتبعية الداخلية، ولا سجلات الموافقات، ولا مراجعة كاملة للحدث. تصف صفحات هندسة Comcast شبكة كبيرة وموزعة، لكنّها لم تُكتب كمراجعة ما بعد الحدث لهذين الانقطاعين.[5][6] وبالتالي يجب على تحليل المساءلة الفصل بين ما يمكن ملاحظته وما يبقى داخل حدود دليل المشغل.

هذا الفصل لا يعني التخلي عن التحليل. بل يحدد وحدة المسؤولية الدقيقة. تحكمت Comcast بالنظام الداخلي الذي وصلت فيه الحدود وتم تنفيذ التعافي داخله. تحكمت ThousandEyes بقياساتها وتفسيرها، لا بموجهات Comcast. تحكمت ARIN بدقة وتوافر سجل AS7922، وليس بالمسارات المطبقة فعليًا داخل سانيفال.[9] تحكمت FCC بمتطلبات الإبلاغ وقواعد الوصول، وليس بقرارات الإرسال المباشرة.[7][8]

النتيجة العملية واضحة: المطالبة بالاستمرارية تكون موثوقة فقط إذا أمكن عرض السعة، والبنية، والتعافي في أنظمة جارية. قد تظهر مخططات التصميم عدّة عقد. وقد يحسب بروتوكول التوجيه عدة مسارات. وقد يسجل السجل العام نظامًا مستقلًا. لكن لا تثبت أي من هذه الحقائق وحدها أن الحركة ستتجنب المجال المعطوب المشترك إذا تم الوصول إلى الحد الأقصى للجدول.

الجدول الزمني التحليلي للحادثتين

التأريخ يأتي من القياسات الخارجية ويجب الإبقاء عليه موضحًا بهذا المعنى. منصة مراقبة المسارات ترى اختبارات مختارة من نقاط مشاهدة مختارة. يمكن أن تكشف فقدان الحزم، وتغيّر المسارات، والأنماط المتكررة. لكنها لا يمكن أن ترى كل أمر داخلي، ولا كل مسار في كل جدول، ولا كل جلسة عميل. الجدول التالي يسجل الملاحظات دون تحويلها إلى سجل تشغيلي مفترض.

يدعم هذا الجدول ثلاث نتائج. أولًا، حدثا التقطيع متباعدان زمنيًا ولا ينبغي دمجهما في انقطاع واحد مستمر من غير دليل تشغيلي داخلي. ثانيًا، كانت نواة سانيفال مركزية في الفشل المرصود. ثالثًا، قد يزيد إعادة التوجيه نطاق المتضررين عندما يرسل الحساب البديل الحركة إلى نفس القلب المتعطل.

لا يدعم ذلك ادعاء أن كل مشتركي Comcast كانوا غير متصلين، أو أن كل مسار عبر سانيفال، أو أن الحد أثر على كل الموجهات بنفس الطريقة. لا يحدد ما إذا كانت السقف الصلب للجدول أدى إلى رفض المسارات أو سحبها أو تفريغها أو إعادة حسابها مرارًا. لا يثبت ما إذا كان الجدول عبارة عن جدول معلومات التوجيه في BGP، أو جدول إعادة التوجيه، أو بنية خاصة بمنصة ما، أو مورد تحكم آخر. هذه الفروقات تظل مجهولة ومُحددة.

ما الذي يمكن لإثبات المسارات الخارجية إقامته

تقاس القياسات الخارجية بشكل أقوى عندما تصف نتائج الإرسال. يرسل الاختبار حركة المرور من نقطة معروفة إلى وجهة معروفة، ويسجل العقدة وفقدان الحزم، ويقارن المسار قبل الحادث وخلاله وبعده. عندما تشترك مسارات كثيرة في واجهة متأثرة أو موقع واحد، تستطيع الأدلة تحديد نقطة فشل مرئية مشتركة. تصف ThousandEyes هذه الطريقة بأنها تجميع القياسات في منصتها لاكتشاف انقطاع حركة التوجيه والترافيك.[4]

في الحدث الأول لـComcast، تقارن المسارات الناجحة خارج سانيفال بالمسارات الفاشلة عبر سانيفال، فتُشكّل حدودًا ذات معنى. يشير ذلك إلى أن الفشل المرئي اتبع مكان المسار. وعندما أُعيد توجيه بعض الحركة المجاورة لاحقًا عبر سانيفال ثم فشلت، أظهر التسلسل أن الحساب البديل لم يخرج من المجال المتأثر.[1]

أضاف الحدث الثاني شذوذًا جغرافيًا. لوحظت بعض الحركة ذات نقاط نهاية في الولايات المتحدة الوسطى أو الشرقية تعبر سانيفال. قد يكون المسار صحيحًا تقنيًا لكنه غير مرغوب تشغيلًا خلال فشل. تختار BGP وأنظمة التوجيه الداخلية المسارات وفق سياسة مكوّنة والحالة المتاحة، ولا تفهم توقع المستخدم بأن الحركة المحلية يجب أن تبقى محلية جغرافيًا.[10] لذلك لا تكون المسألة حدسًا. إنها شرط سياسة وبنية تشغيلية قابلان للاختبار.

تتسم قياسات المسارات الخارجية بحدود. قد لا يجيب هوب مرئي عن كل سؤال يتعلق بالتغليف، أو العلامات الداخلية، أو انعكاس المسارات، أو التوجيه المتعدد على تكاليف متساوية. قد تعقّد واجهات غير متجاوبة التفسير. مسار مرئي من نقطة واحدة لا يعني طريقًا عالميًا. خسارة الحزم عند أو بعد عقدة مرئية لا تثبت دائمًا أن الواجهة المجيبة هي سبب الخسارة. ينبغي قراءة استنتاجات ThousandEyes كملاحظات جهة قياس، لا كصلاحية دخول لكل موجه.

تجعل هذه الحدود التمحيص والاحتفاظ بالمؤشرات مهمة. يستطيع المشغّلون الاحتفاظ بحالة المسارات الداخلية، ومؤشرات الواجهات، وامتلاء الجداول، وسجلات التغييرات مع بيانات المسارات المستقلة. يمكن لمراجعة لاحقة أن تختبر ما إذا كان انزياح المسار الخارجي يوافق حدثًا داخليًا معروفًا. بدون هذا الربط، يستطيع الخارجون تحديد مجال الفشل لكن لا إعادة بناء سلسلة التحكم الكاملة.

سعة جدول التوجيه هي أداة استمرارية

تخزن أنظمة التوجيه أنواعًا متعددة من الحالة. يستقبل ناطقو BGP التحديثات، ويطبقون السياسة، ويختارون المسارات، ثم يعلنون النتائج المسموحة.[10] قد تُمسك التطبيقات بمسارات مستلمة ومسارات مقبولة ومسارات مختارة وسجلات إرسال منفصلة. يقلّل منعكس المسارات من الحاجة لشبكة كاملة من جلسات BGP الداخلية، مع كونه يصبح جزءًا من مسار توزيع معلومات التوجيه.[12] تفرض العتاد والبرامج حدودًا على الذاكرة، وإدخالات الإرسال، وموارد العملية، وعدد المسارات المدعومة.

لذلك يحتاج مصطلح «حد جدول التوجيه» إلى دقة. قد يكون الحد الأقصى المعيّن درعًا مقصودًا. وقد تكون قدرة المنصة حدًا هندسيًا صارمًا. قد تنفد الذاكرة قبل الوصول إلى رقم المسارات الاسمي. قد يتسبب حد maximum-prefix للجلسة في إيقاف جلسة أو تحذير المشغّل. قد يكون جدول الإرسال له سعة تختلف عن جدول طبقة التحكم. الأدلة العامة المجمدة لا تحدد أي حالة حدثت فعلًا في شبكة Comcast.

هذا الغموض لا يجعل السعة غير قابلة للتدقيق. يستطيع المشغّل تسجيل هوية كل جدول ذي صلة، والحدود المهيأة والمدعومة، والامتلاء الطبيعي، والذروة، والهامش الاحتياطي للتقارب، ومعدل النمو المتوقع. يمكنه تحديد حدود إنذار قبل نقطة الفشل واختبار مسار التنبيه. ويمكنه محاكاة زيادة مضبوطة في حالة المسارات وتسجّل ما إذا كان الجهاز يرفض الزيادة فقط، ويحمي التوجيه القائم، أم يعيد تشغيل العملية، أم ينسحب المسارات، أم يحدث تذبذب.

ينبغي تعريف الهامش ضد سيناريو فشل، وليس ضد يوم عادي. أثناء التقارب، قد يحتفظ الموجه مؤقتًا بالمسارات القديمة والجديدة. وقد يحدث أن تظهر مسارات بديلة بسبب الصيانة. وقد يرتفع حالة المقبول بسبب خطأ سياسة. وقد يغير منعكس المسارات المسارات المرئية. لذلك ينبغي أن يشمل الهامش الحالة الانتقالية ووقت استجابة المشغّل.

سجل سعة مفيد يجب أن يتضمن ما لا يقل عن ست قياسات:

1. الامتلاء الحالي لكل بنية توجيهية وإرسال.
2. الحد الأقصى الصلب للمنصة وأي حد أدنى أقل من الإعداد.
3. أعلى امتلاء انتقالي شوهد أثناء تقارب مُختبر.
4. حد التحذير ووقت تسليم التنبيه المتحقق.
5. السلوك الموثّق عند حدود التحذير والحد الصلب.
6. إجراء التعافي، بما في ذلك الأدلة المطلوبة قبل إرجاع الحركة.

يجعل حادث نوفمبر هذا السجل ذا أهمية لأن الفشل المرصود لم يقتصر على حركة المرور التي كانت تستخدم سانيفال بالفعل. أعيد توجيه بعض الحركة إلى القلب وفشلت هناك.[1] إذا كان حد جدول في عقدة أو مجموعة عقد قادرًا على جذب مسارات إضافية أثناء التقارب، فإن الحد يصبح أداة لتحديد نصف قطر التأثير. ينبغي أن تسائل اختبارات السعة ليس فقط ما إذا كانت عقدة واحدة تتحمل الحمل، بل كيف يتصرف بقية الشبكة أمام فشل جزئي فيها.

لا مصدر في الحزمة يثبت أن Comcast لم يملك هذه القياسات. الأدلة تظهر أن حدًا تجاوز ثم أُشير إليه لاحقًا، وأن المسارات المرصودة خارجيًا فشلت. النتيجة المسؤولة هنا هي أن القياسات ذات الصلة يجب أن تكون قابلة للمراجعة، لا أن غيابها قد ثبت.

لماذا لم تكن إعادة التوجيه مرونة مستقلة

عادة تُصوَّر الشبكات كمرنة لأن الحركة يمكن أن تسلك مسارًا آخر. هذا القول يتجاهل سؤالًا أساسيًا: مرونة من ماذا؟ يمكن لمسارين أن يستخدما واجهات مختلفة مع أنهما يشتركان في نفس منعكس المسارات، وإصدار برمجي، و سقف جدول، ونطاق طاقة، ونواة حضرية، وعملية صيانة، أو مصدر تهيئة واحد. لذلك قد يحافظ حساب مسار جديد على نفس الفشل الأساس.

يوفر الحدث الأول في Comcast مثالًا عمليًا. استمرت بعض الحركة خارج سانيفال ناجحة مبدئيًا. بعد إعادة توجيهها عبر سانيفال، فشلت أيضًا.[1] وجد البروتوكول مسارًا، لكن المسار دخل مجالًا متأثرًا. من وجهة المستخدم، وجود حساب ثانٍ لم يخلق استمرارية.

يجب إجراء تحليل نطاق الفشل على عدة مستويات. يختبر التنوع المادي ما إذا كانت الروابط والمواقع وأنظمة الطاقة منفصلة. ويتحقق التنوع في طبقة التحكم عما إذا كانت عمليات توزيع القرارات والتوجيه يمكن أن تفشل باستقلال. ويتحقق تنوع السعة مما إذا كانت العقد البديلة تمتلك هامش جدول مستقل وكافٍ. ويتحقق التنوع التشغيلي مما إذا كانت تغييرات واحدة أو نظام أتمتة واحد أو موافقة واحدة تؤثر في جميع البدائل المعلنة. ويتحقق التنوع القابل للرصد مما إذا ظلت المراقبة متاحة حين تتعطل طبقة التحكم الإنتاجية.

يمكن لتصميم Clos أن يوفّر مسارات متعددة وقدرة أفقية، وناقشت ThousandEyes استخدام Comcast لنموذج spine-leaf خلال تفسير الحدث.[1] هذا السياق المعماري يوضح لماذا سلوك العقد والأنسجة على مستوى القماش الشبكي مهم. لكنه لا يكشف الطوبولوجيا التشغيلية الدقيقة للنواة المتأثرة ولا يثبت أن كل المسارات مشتركة في اعتماد تحكم واحد.

التحقق الصحيح متماسك وحدود واضحة. يمكن للمشغلين عزل عقدة، وتقييد منعكس مسارات، وضبط جدول، وتأخير تحديث، ومراقبة انتقال الحركة. ينبغي أن يؤكد الاختبار أن المسار البديل يتجنب المجال الفيزيائي والمنطقي الأصلي، وله سعة كافية، ولا يخلق انحرافًا جغرافيًا غير متوقع. يجب تسجيل النتائج عبر مقاييس مستوى الإرسال من داخل الشبكة وخارجها.

تتحقق المرونة عندما يحمل المسار البديل الحركة أثناء العطل المختبر. ولا تتحقق عندما يحتوي المخطط فقط على خطوط متعددة.

التقارب، وانعكاس المسارات، وتغير المسارات

لا تحدّث BGP الإنترنت كله أو شبكة داخلية كبيرة فورًا. تتلقى الموجهات تغييرات في أوقات مختلفة، وتطبق السياسة المحلية، وتُعلن نتائج جديدة. يتناول RFC 4277 سلوك التقارب وتأخرات الحالات الانتقالية التي قد تحدث بعد تغييرات التوجيه.[11] تغيّر منعكسات المسارات هيكلية نشر التحديث داخل نظام مستقلة عبر السماح للعملاء بتبادل المسارات دون شبكة داخلية كاملة.[12]

رصدت ThousandEyes بعض مسارات Comcast المتناوبة بين فقدان كامل ووصول طبيعي أثناء الحدث الثاني واعتبرت تذبذب طبقة التحكم تفسيرًا محتملًا.[1] لا تظهر الأدلة العامة التحديثات الدقيقة المسؤولة. لكنها تُظهر لماذا يجب أن يكون سلوك التقارب جزءًا من مراجعة السعة. قد يتصرف النظام القريب من الحد بشكل مختلف عند التعايش بين مسارات قديمة وجديدة أو إعادة تعبئة جلسات متكررة.

تعالج آليات graceful-restart وgraceful-shutdown مشاكل انتقال معينة. يصف RFC 4724 الحفاظ على حالة الإرسال خلال بعض عمليات إعادة تشغيل BGP.[13] يحدّد RFC 6198 متطلبات خفض خسارة الترافيك عند إغلاق جلسة BGP مقصودًا، ويبيّن RFC 8326 آلية shutdown متدرجة.[15][19] هذه الوثائق لا تثبت أن الآليات كانت ذات صلة أو متاحة أو مفعلة في حادث Comcast.

وتبيّن أن عبارة «أكملت BGP التقارب» ليست معيارًا تشغيليًا مكتملًا. قد تتضمن مرحلة التقارب فقدان حزم أو حلقات انتقالية أو حالة قديمة أو تغيّر مسار يخالف المحلية المقصودة. ينبغي للشبكة المختبرة أن تُعرّف زمن تقارب مقبولًا وخسارة مقبولة لكل فئة فشل. كما ينبغي أن تُعرّف ما يحدث عندما يصل مورد طبقة التحكم إلى حد، بدل مسار ارتباط واحد.

يستحق انعكاس المسارات دليلًا محددًا لأن التكرار المنطقي قد يظل يشارك حالة التوزيع. ينبغي للمشغل أن يعرف أي العملاء يعتمدون على كل انعكاس، وهل لديها طاقات مستقلة، وكيف تُختار المسارات عندما تفقد منعكسًا حالة، وكيف يغيّر إنذار الحد انتشار المعلومات. المقال لا يدّعي أن منعكسًا واحدًا سبب حادث Comcast. بل يحدّد نوع الاعتماد الذي ينبغي فحصه في أي مراجعة لحد جدول توجيه.

يجب أن ينجو الاكتشاف من الفشل الذي يبلّغه

اكتشاف BFD سريع يمكن أن يلتقط بعض حالات الفشل على مستوى الإرسال سريعًا.[14] لكنه لا يحدد حد جدول التوجيه بمفرده. قد يبلغ جهاز التتبع عن امتلاء الجدول وصحة العملية. ويمكن لمجمعات المسارات ومختبرات المسارات الخارجية أن تُظهر تغيّر قابلية الوصول. وقد تُظهر تقارير العملاء أعراض الخدمة. كل مصدر يرى جزءًا مختلفًا من الحدث.

تصميم مراقبة مسؤولًا يربط هذه الطبقات. ينبغي أن يحدد إنذار الجدول الجهاز والبنية والقيمة الحالية والحد المهيأ والاتجاه. وينبغي أن يبيّن إنذار التوجيه ما تغير من الحالة. ويجب أن يبيّن إنذار المسار أي وجهات ومناطق فقدت قابلية الوصول. ويجب أن ترتبط منظومة أثر العملاء بالشبكة لتربط الحدث الشبكي بالخدمات المتأثرة من غير تضخيم عدد المستخدمين مقارنة بالأدلة.

تحتاج المراقبة أيضًا لمسار تسليم مستقل. إذا كانت الإنذارات ولوحات التحكم والمصادقة ومحادثة الحادث تعتمد على نفس الشبكة المتأثرة، فقد يخسر المشغل الأدوات اللازمة للتعافي. لا يقول السجل العام Comcast إن هذا حصل فعلًا. لكنه يظل متطلب استمرارية قابلًا للقياس ناتجًا عن فئة الفشل، لا اتهامًا بشأن الحادث.

تساهم القياسات الخارجية بفحص واقعي منفصل. كانت ThousandEyes قادرة على مقارنة المسارات الناجحة والفاشلة قبل نشر Comcast لشرح مفصل.[1][4] يمكن لمشغّل أن يستخدم أدلة خارجية مشابهة لاختبار ما إذا كان «الحالة الخضراء» الداخلية تقابل توجيهًا ناجحًا فعلًا. ينبغي أن يتطلب بوابة التعافي النهائية استقرارًا داخليًا وعملية وصول مرئية من مناطق متعددة.

يمنع هذا البوابة خطأً شائعًا: اعتبار التعافي مكتملًا عند إعادة تشغيل عملية تحكم بينما لا يزال الإرسال غير مستقر. في جدول Comcast الزمني، كانت الحالة النهائية المرئية أن المسارات المتأثرة وصلت مجددًا إلى وجهاتها.[1] لا يكشف السجل العام معايير Comcast الداخلية للتصريح النهائي، فلا يمكن إجراء مقارنة مباشرة. الحدث نفسه يبرهن لماذا تكون أدلة الإرسال جزءًا من المعايير.

أدلة السجل والواقع الجاري

يسجل RDAP الخاص بـARIN AS7922 كموارد نظام مستقل ومسجّل.[9] هذه السجلات مهمة، فهي تساعد المشغلين والمحققين في تحديد المؤسسة المرتبطة برقم المورد، وصيانة جهات الاتصال، والتمييز بين شبكة وأخرى. يدعم الدقة، والانفراد، وسجلات الحالة الحالية التنسيق.

لا يُدير السجل BGP. ولا يخزن جدول مسارات موجه Comcast كاملًا، ولا يختار المسار، ولا يفرض حداً للجدول، ولا يوجه حركة شيكاغو بعيدًا عن كاليفورنيا. هذه النتائج تنبع من البرامج الجارية، والحالة المثبتة، والبنية التحتية، وسياسة المشغّل.

يمنع هذا الفصل خطأين. الأول تحويل دلالة الإسناد في السجل إلى دليل على كل إجراء داخلي. رؤية AS7922 في المسار تحدد سياق شبكة، لكنها لا تحدد الموظف أو التهيئة أو المسؤولية القانونية وراء فشل. الثاني رفض أدلة السجل لأن لا يمكنها فرض الإرسال. يظل سجل الموارد الحالي مفيدًا للإسناد والتنسيق في الحادث مع أنه ليس نظام تحكم كامل للمسار.

تعتمد مساءلة الشبكة على ربط الطبقة التسجيلية بالواقع الجاري. ينبغي أن يشير معرف المورد، ومخزون الأجهزة، وسياسة التوجيه، وقياسات الجدول، وسجل التغييرات، وإنذار الحادث والقياس الخارجي إلى نفس الحدث التشغيلي. عندما تُحفظ هذه الروابط، يمكن للمراجعة أن تسأل من الذي تحكم في كل قرار دون افتراض أن قاعدة بيانات واحدة تحكم الشبكة كاملة.

المساءلة في الإبلاغ والأدلة السرية

تحدد قواعد القسم الرابع في FCC والإرشادات المرتبطة متطلبات الإبلاغ وحفظ السجلات للأعطال الاتصالية المؤهلة.[7][8] تعترف القواعد بأن النطاق الجغرافي، والزمن، والمستخدمين، وتأثيرات السلامة العامة قد تكون مهمة للإشراف. وهي أيضًا تحمي معلومات الانقطاع غير العامة.

لا تحتوي هذه المقالة على البلاغ السري الخاص بـNORS لتعاملات Comcast في أحداث نوفمبر ٢٠٢١. لذلك لا يمكنها بيان ما أفادته Comcast أصلًا كسبب الجذر، أو عدد المستخدمين ضمن التعاريف التنظيمية، أو ما إذا كان العتبة تحققت، أو ما إن كان تم تسليم المعالجة لـFCC.

تُعد هذه الحدود مهمّة لأن البلاغ والتقرير العام يخدمان جمهورًا مختلفًا. قد يتلقى المنظم بنية بنية تحتية حساسة لا ينبغي عرضها علنًا. ويبقى العملاء والمشغّلون التابعون بحاجة إلى قدر كافٍ من المعلومات العامة لفهم طبيعة الفشل وتقييم الاستمرارية. لا يتطلب الإنصاف نشر تفاصيل قابلة للاستغلال. لكنه يتطلب شرحًا عامًا قابلًا للتصديق حول فئة الفشل، ونطاقه، والتعافي، ومنع الوقائع القابلة للحدوث مجددًا.

يمكن لسجل عام مفيد أن يذكر أن حد حالة التوجيه قد تجاوز، وأن يصف مجال التحكم المتأثر بالمستوى المناسب، وأن يوضح نوافذ الرصد والتعافي، وأن يوضح لماذا دخلت الحركة المعاد توجيهها نفس المجال، وأن يسرد الضوابط المعدلة لاحقًا، دون ذكر مهندسين فرديين أو نشر إعدادات موجهات حساسة.

حدود هذه التفاصيل في الحزمة العامة تمنع تأكيدات قطعية. لا تثبت أن Comcast أخفقت في الإبلاغ السري أو الإزالة. لكنها تبيّن أن المراجعين الخارجيين مضطرون للاعتماد بشكل أساسي على القياسات الخارجية لإعادة بناء التقنية.

مالكو السيطرة والالتزامات الإثباتية

تقوم المساءلة على التحكم العملي لا قرب الكيان من العنوان.

تحكمت Comcast في سعة التوجيه الداخلية.يستطيع المشغل جرد المنصات، وضبط الحدود، أو قبولها، وقياس الامتلاء، واحتفاظ هامش، واختبار سلوك الفشل. وقد تشمل الأدلة جرد الأجهزة والبرامج وسجلات الجداول وضوابط الحدود ونتائج اختبارات السعة.

تحكمت Comcast في البنية والمسار الداخلي.يمكنها تصميم مجالات فشل القلب، وعلاقات منعكسات المسارات، وتفضيلات المسار، والقيود الجغرافية. وقد تشمل الأدلة طوبولوجيا معتمدة وسياسة توجيه وخرائط اعتماد واختبارات إدخال الأعطال. لا يكشف السجل العام عن هذه المواد.

تحكمت Comcast في التغيير والتعافي.يمكنها تفويض التغييرات، ورفعها للتنفيذ، والحفاظ على الحالة قبل/بعد، وتنفيذ التراجع والتحقق من الإرسال. قد تشمل الأدلة التذاكر، والموافقات، والاختلافات، وسجلات الأوامر، وقرارات الحادث، واختبارات التعافي الخارجية.

المُورّدون تحكموا في سلوك المنتج داخل منتجاتهم.قد يعرّف موجه أو برنامج قيود السعة والتنبيهات وأنماط الفشل. المصادر المجمدة لا تحدد موردًا أو منتجًا، لذلك لا يمكن للمقال إسناد واجب محدد لمورد معيّن أو عيب منتج.

المراقبون الخارجيون تحكموا في جودة القياس.تحكمت ThousandEyes في نقاط المشاهدة، والاختبارات، وتفسير المسارات، والتحليل المنشور.[1]-[4] يمكن لبياناتها إظهار الأنماط لكنها يجب أن تُصرّح بحدودها وتبقى قابلة للمقارنة مع البيانات الداخلية.

العملاء تحكموا فقط في خيارات الاستمرارية الخاصة بهم.قد تستخدم مؤسسة مسارات دخول متعددة أو مزوّدين أو مناطق تطبيق بديلة. هذه الخيارات قد تقلل الاعتماد، لكنها لا تنقل مسؤولية حالة التوجيه الداخلي إلى العملاء. وقد لا يملك بعض المستخدمين المسافرين أو المستخدمون العامون بديلًا عمليًا.

تحكمت ARIN في دقة السجلات وتوافرها لمواردها.لكنها لم تتحكم في مسارات Comcast الداخلية.[9]

تحكمت FCC في قواعد الإبلاغ وسجلات الإشراف المحمية.لكنها لم تتحكم في قرار التوجيه الذي أوصل المسار عبر سانيفال.[7][8]

هذا التوزيع ليس ادعاءً بأن كل طرف أخفق. إنه خريطة لمن يملك الأدلة اللازمة لتقييم رقابة محددة.

إصلاح قابل للقياس

يحوّل أقوى برنامج للإصلاح المجهوليات إلى اختبارات دورية.

١. تعريف كل حد ذي صلة.لكل بنية توجيه وإرسال، تُسجل السعة القصوى للمنصة، والسعة القصوى المهيأة، والاحتلال الحالي، ومعدل النمو المتوقع، واحتياطي الطوارئ. يفصل بين المسارات المستلمة والمقبولة والمُختارة والمثبتة حيث يكشف النظام ذلك. لا تكفي عدّة المسارات الإجمالية وحدها إذا كانت بنية داخلية أصغر تتعطل أولًا.

٢. إعداد إنذارات متعددة المراحل.ينبغي أن تترك عتبات التحذير وقتًا كافيًا للتحقيق قبل الحد الأقصى. يجب أن تتضمن الإنذارات بنية متأثرة، والقيمة الحالية، ومعدل التغير، والجار أو العملية ذات الصلة، واستجابة آمنة. ويجب اختبار توصيل الإنذار عبر مسار إدارة مستقل.

٣. اختبار الهامش الانتقالي.ينبغي أن تشمل نماذج السعة النمو العادي زائد الحالة الإضافية خلال الصيانة، وتقارب المسارات، واستعادة الجلسات، وتراجع السياسة. ويجب أن يقيس الاختبار الذروة وليس الحالة النهائية المستقرة فقط.

٤. التحقق من سلوك الفشل.في بيئة مضبوطة، يُقترب من الحد المضبوط أو يتجاوزه ويسجّل النظام تصرفه. هل يرفض مسارات جديدة، أم يعيد تشغيل جلسة، أم ينزع مسارات، أم يحافظ على الإرسال، أم يسبب تذبذبًا؟ الحد المعلن دون فحص سلوك الفشل يكون غير كامل.

٥. رسم اعتمادات التحكم المشتركة.ينبغي فحص العقد الاحتياطية بحثًا عن منعكسات ومسارات تكوين وبرامج وإصدارات وسقوف جداول ومسارات إدارة مشتركة. الهدف الموثوق ليس فقط فشل هدف التبديل، بل الفشل الذي يشارك نفس مورد الحد.

٦. اختبار المحلية الجغرافية.تُعرّف فئات الترافيك التي يجب أن تبقى داخل منطقة معيّنة خلال فئات أعطال محددة. ويُستخدم قياس داخلي وخارجي للتحقق من أن المسار المحلي لا يُحوّل عبر قلب متأثر بعيد دون سبب مصرح به ومختبر.

٧. ربط دليل طبقة التحكم والإرسال.قد يمتلك الجدول في طبقة التحكم مسارًا بينما تفشل الحزم فعليًا. ينبغي أن يتطلب التعافي استقرار الإرسال المقبول، والخسارة المقبولة، ومسارات مستقرة من عدة مناطق. ويجب محاذاة حالة جدول التوجيه الداخلي مع أدلة المسارات الخارجية.

٨. الاحتفاظ بالتنشيط، والكشف، والاستجابة، والتعافي بشكل منفصل.قد يسبق الحد المبدئي أول إنذار. قد يكتشف المراقب الخارجي الأعراض قبل أن يعرّف المشغّل السبب. وقد يتم الرجوع قبل استقرار مسارات العالم كاملاً. يجب أن يسجل ما بعد الحادث كل طابع زمني ومصدر دليل بدل دمجها في مدة انقطاع واحدة.

٩. مراجعة منعكسات المسارات وسلوك التقارب.حيث يستخدم منعكس المسارات، يُختبر سلوك العميل، وسعة منعكس بديل، ووضوح المسارات، وإعادة تعبئة الحالة.[12] وتُعرّف تقارب وخسارة مقبولة لكل عطل مخطط.[11] يمكن تقييم آليات الانتقال دون افتراض أنها تحل استنزاف الجداول.[13][15][19]

١٠. الإبقاء على المصطلحات المتعلقة بالمجال بين السياسات دقيقة.يعرّف RFC 7908 تسرب المسارات، بينما تتناول RFC 8212 وRFC 9234 سيطرة سياسة صريحة واعتماد العلائق.[17][18][20] الأدلة في هذه الحزمة تتعلق بتغييرات داخلية ومسار غير طبيعي وحد في جدول. لذا لا يجب تسمية كل إعادة توجيه غير متوقعة كتسرب مسارات، لأن تسمية خاطئة توجه المعالجة نحو رقابة خاطئة.

١١. تمرين سلسلة اعتماد إدارة الحوادث.ينبغي أن تبقى أنظمة المراقبة، وخدمة المصادقة، وصفحة الحالة، ودعم العملاء، وتواصل المهندسين، ومسار التغيير متاحة عندما تتأثر النواة الإنتاجية. ويجب أن يشمل التمرين انقطاع وصول الشبكة الأساسي.

١٢. نشر حساب فني محدود.ينبغي أن يحدد التقرير العام فئة الفشل، ونافذة الزمن، ومجال التحكم المتأثر، وطريقة التعافي والإصلاح الموثق دون كشف طوبولوجيا حساسة. ويجب الفصل بين الحقائق المقاسة، والنتائج الداخلية، والأسئلة غير المحسومة.

تحتاج كل آلية إلى شرط قبول واضح. «مراقبة حجم الجدول» ليس شرط قبول. «تنبيه عند هامش معرف، وتسليم الإنذار خلال مسار مستقل ضمن مدة مختبرة، وإثبات قدرة المشغّل على استعادة هامش كافٍ قبل الحد الأقصى» هذا شرط قابلًا للقياس. «وجود تكرار» ليس شرط قبول. «خلال فشل مستقل لنواة سانيفال، يبقى حركة البيانات المعرّفة قابلة للوصول دون المرور بالنطاق المعزول وخسارتها أقل من حد محدد» هذا شرط قابل للقياس.

ينبغي أن تكون للضوابط أيضًا مالكو مراجعة وتواريخ مراجعة. قد تتغير السعة مع تغيّر العملاء أو الأقران أو البادئات أو سياسات هندسة الحركة. ولا يثبت نجاح اختبار في سنة سلامة دائمة. يجب أن تظهر الأدلة متى أجري الاختبار، ومع أي برمجيات وبنية توجيه، وما هي الاستثناءات المتبقية.

هذه المقترحات ليست إثباتًا على أن Comcast لم تطبقها. إنها الضوابط القابلة للقياس والمتصلة بالملاحظة الخارجية للفشل و الآلية المنسوبة للحد.

المعايير اللاحقة إطار وليس أحكامًا

تتضمن مجموعة وثائق IETF بالمصدر مراجع صدرت بعد الحادث أو تتجاوز سياقه. يعرّف RFC 8212 السلوك الافتراضي بالرفض عندما لا تهيئة السياسة الخارجية لـBGP بشكل صريح.[18] ويصف RFC 9234 أدوار BGP وميزة Only-to-Customer لتقليل بعض تسربات المسارات.[20] لا يثبت أي من هاتين الوثيقتين سببًا لحد جدول داخلي أو أن إعدادات Comcast في ٢٠٢١ كانت كذلك.

يجمع RFC 7454 بين ممارسات أمن وتوجيه.[16] ويعالج RFC 6198 وRFC 8326 متطلبات الإغلاق السلس والتشفير الإشاري.[15][19] ويعرّف RFC 5880 BFD.[14] وهي تساعد في صياغة أسئلة حول السياسة والتغيير المخطط والاكتشاف. لكن لا ينبغي تقديمها كقائمة تحقق يثبت بها أن Comcast خالفها.

هذا الفصل يقي التحليل من تحيز الرجوع للخلف. يمكن للمعايير أن تبيّن أن تحكمًا ما كان معروفًا أو ممكنًا تقنيًا، لكنها لا تُثبت أنه كان مطلوبًا تعاقديًا، أو مفعّلًا على منصة بعينها، أو مهيأ في الشبكة المتأثرة، أو قادرًا على منع هذا الفشل تحديدًا. تلك الاستنتاجات تتطلب أدلة إضافية.

تستخدم المقالة المعايير لصياغة بدائل قابلة للقياس، وليس لخلق حكم بالذنب.

ما لا يخلطه هذا التقرير

حادثا نوفمبر ٢٠٢١ لا يطابق انقطاع Comcast في ٢٠١٧ المرتبط بتسرب مسار خارجي في Level 3. كان ذاك الحادث مرتبطًا بمسارات خارجية متسربة وآلية مرصودة مختلفة. ولا يطابق انقطاع Comcast في ٢٠١٨ الناجم عن قطع فيزيائي وحوادث إعلانات أكثر تحديدًا مع سجل تعافي مختلف. كما لا يطابق حادث CitrixBleed المرتبط بهوية العملاء سنة ٢٠٢٣، الذي كان يتعلق بتعرّض جهاز حافة وبيانات هوية.

لا يساوي أيضًا المقال كل إعادة توجيه بتسرب مسار. للتسرب تعريف وسيطة بين السياسات في العلاقات بين النظم.[17] تظهر حزمة ٢٠٢١ تغيّراً داخليًا أو خاضعًا لسيطرة المزود نحو قلب متضرر. ومن دون إعلانات المسارات ذات الصلة والأدلة العلاقات، فإن وصف هذا السلوك كتسرب مسارات يكون غير مدعوم.

ولا يعني الانقطاع إخفاق السجل. يساعد سجل ARIN الخاص بـAS7922 في تحديد مورد الشبكة.[9] سجل صحيح لا يمنع حد جدول من الوصول لحده، وحد الجدول لا يجعل سجل الريجستري غير صحيح.

وأخيرًا، الحادثة ليست دليلًا على هجوم. لا تثبت المصادر المجمدة عملًا ضارًا، ولا وصولًا غير مصرح به، ولا تعطيلًا مقصودًا، ولا قصدًا جنائيًا.

الشكوك الأساسية

الجدول والدقة النهائية والحد الذي تجاوزته غير معروف بدقة. تظل حالة التغيير المسبّبة، والجهاز، والبرمجية، والأمر، والدور المسؤول غير معروفة. تظل طوبولوجيا كل عقدة في سانيفال وامتلاء جدول كل واحدة غير معروفة. كما تظل أثر كل خدمة ومستخدم غير معروف كليًا.

لا يتضمن السجل العام زمني الإنذار الداخلي وقرارات الاستجابة والمنهجية التعرضية والإجراءات ما بعد الحادث. محتويات أي بلاغ سري للخروج عن العطل غير متاحة. لا يثبت أي مصدر هنا عيب مورد، أو فشل فرد، أو إهمال، أو مسؤولية قانونية، أو خسارة مُحصاة.

تحدد هذه الفجوات حدودًا لادعاءات الإدانة لا للأسئلة التشغيلية. ما زالت المسارات المرصودة والحد المسمى يحددان الأدلة الضرورية لمراجعة كاملة.

الخلاصة

حوّلت انقطاعات Comcast في نوفمبر ٢٠٢١ سؤال سعة الحد التشغيلي إلى اختبار للمساءلة في الشبكة. رصدت ThousandEyes حادثين مركزيين حول نواة سانيفال. تعطلت الحركة التي كانت بالفعل عبر نواة سانيفال، وفشلت أيضًا بعد إعادة توجيه حركة كانت ناجحة إلى سانيفال. أثناء الحدث الثاني، كانت بعض الحركة من مناطق بعيدة موجهة عبر نفس المنطقة، وأحيانًا تتناوب بين فقدان ووصول.[1][3]

نسبت مراجعة لاحقة لـThousandEyes الحادث إلى تجاوز غير مقصود لحد جدول التوجيه.[2] لا يكشف هذا التفسير الحالة الداخلية المبدئية، لكنه يحدد ساحة تحكم ملموسة. يمكن قياس امتلاء جدول التوجيه، والعتبات، والهامش الانتقالي، وسلوك الفشل، واعتماد الطوبولوجيا، والتنبيهات، والتعافي في مستوى الإرسال.

الحدث يوضح أيضًا لماذا لا تكفي التسجيلات والرسومات وحدها. تستطيع ARIN تسجيل AS7922 بدقة.[9] ويمكن لبروتوكول BGP حساب مسار جديد.[10] وقد تحتوي البنية على عُقَد متعددة. لكن الاستمرارية تفشل إذا وصلت الحالة الجارية إلى حد، أو دخلت المسارات البديلة نفس المجال المعطل.

ومن ثمّ ترتكز المساءلة على دليل التحكم التشغيلي. تحكمت Comcast في نظام التوجيه والتعافي. وتتحكم المراقِبات الخارجية في قياساتهن. وتتحكم FCC في متطلبات الإبلاغ. وقد يتحكم الموردون في سلوك المنتج، لكن الحزمة العامة لا تحدد أحدًا منهم. ويستطيع العملاء فقط الخيارات المتاحة لهم عمليًا.

النتيجة الحصيفة هي أن العبور ليس أن معيارًا واحدًا يمنع الانقطاع، ولا أن مشغّلًا لا يمكن أن يفشل مطلقًا. إنما هي أن المطالبة بالاستمرارية تحتاج سعة مختبرة، ونطاق فشل مستقل، ومراقبة متينة، وشرحًا عامًا محدودًا وشفافًا وتعافيًا مثبتًا من منظور خارجي. في شبكة كبيرة، ليست المرونة هي وجود مسار بديل فقط؛ إنها برهان أن المسار البديل يعمل عندما يفشل مجال التحكم الأساسي.

المصادر

1. https://www.thousandeyes.com/blog/comcast-outage-analysis-nov-9-2021
2. https://www.thousandeyes.com/blog/seven-outages-shook-up-2021
3. https://www.thousandeyes.com/blog/internet-report-weekly-pulse-nov-15
4. https://www.thousandeyes.com/blog/analyzing-internet-issues-traffic-outage-detection
5. https://corporate.comcast.com/comcast-voices/one-of-the-most-sophisticated-networks-in-the-world-2
6. https://corporate.comcast.com/press/releases/comcast-harnessing-cloud-and-ai-to-transform-next-generation-internet-experiences
7. https://docs.fcc.gov/public/attachments/DA-22-1300A1.pdf
8. https://www.ecfr.gov/current/title-47/chapter-I/subchapter-A/part-4
9. https://rdap.arin.net/registry/autnum/7922
10. https://www.rfc-editor.org/rfc/rfc4271
11. https://www.rfc-editor.org/rfc/rfc4277
12. https://www.rfc-editor.org/rfc/rfc4456
13. https://www.rfc-editor.org/rfc/rfc4724
14. https://www.rfc-editor.org/rfc/rfc5880
15. https://www.rfc-editor.org/rfc/rfc6198
16. https://www.rfc-editor.org/rfc/rfc7454
17. https://www.rfc-editor.org/rfc/rfc7908
18. https://www.rfc-editor.org/rfc/rfc8212
19. https://www.rfc-editor.org/rfc/rfc8326
20. https://www.rfc-editor.org/rfc/rfc9234