الملخص
- تم تفعيل أجهزة إنذار الحريق في موقع OVHcloud في ستراسبورغ في الساعة 00:35 من 10 مارس 2021. بدأ الحريق في غرف الطاقة في الطابق الأرضي من SBG2، ودمر ذلك المبنى، وألحق الضرر بأربع من غرف SBG1 الاثنتي عشرة، وأجبر على قطع الطاقة عن الحرم الجامعي. لم يستهلك الحريق الأولي SBG3 وSBG4، إلا أن الخدمات هناك لم تكن متاحة بسبب العزل الكهربائي وتفتيش السلامة والتنظيف وإعادة التشغيل التدريجي. لم يقتل أو يصب أحد.
- لم يحدد التحقيق الفرنسي في السلامة الصناعية السبب الدقيق للأعطال الكهربائية المتزامنة تقريبًا التي لوحظت في جهاز UPS والبطاريات المرتبطة به. لكنه حدد عوامل الانتشار والاستجابة: عدم وجود نظام إطفاء تلقائي في أي من مباني ستراسبورغ الخمسة، سرعة انتشار الدخان من خلال تصميم SBG2 المفتوح القائم على التبريد، محدودية سعة مياه الإطفاء، وصعوبة إغلاق الكهرباء على مستوى الموقع. ساهم الكشف العامل، والموظفون الليليون، والفصل المقاوم للحريق الذي يحمي SBG3، ووصول زلاجة إطفاء فرنسية ألمانية عالية السعة في الحد من العواقب الأسوأ.
- كان فقدان التوفر وفقدان البيانات الدائم نتائج مختلفة. أبلغت OVHcloud عن تعطل حوالي 65,000 عميل و120,000 خدمة، بينما لاحظت Netcraft انقطاع حوالي 3.6 مليون موقع عبر 464,000 نطاق. قالت OVHcloud إن العديد من العملاء الذين فقدوا بيانات لم يختاروا نسخة احتياطية اختيارية. لكن هذا لا يغلق مسألة المساءلة: وثيقة تسجيل OVHcloud الخاصة ذكرت أن النسخ الاحتياطية المقدمة يمكن تخزينها في نفس مركز البيانات أو في مركز مختلف، وأشار حكم استئناف لاحق إلى عميل دمرت نسخته الاحتياطية المدفوعة الآلية مع النسخة الإنتاجية في نفس المبنى.
- كشف الحادث عن خطأ تصنيفي في شراء الخدمات السحابية. سيادة البيانات والولاية القانونية وزمن الوصول والتوفر والنسخ الاحتياطي والتعافي من الكوارث مفاهيم مترابطة لكن غير قابلة للتبادل. الاحتفاظ بالبيانات في فرنسا أو الاتحاد الأوروبي يمكن أن يفي بسياسة المحلية مع السماح للنسخ الإنتاجية والاستردادية بمشاركة خطر مادي واحد. على العكس، يمكن للنسخة البعيدة جغرافيًا أن تبقى داخل نفس الإقليم القانوني ونفس الضوابط الأوروبية.
- كشفت OVHcloud عن تغييرات كبيرة بعد الحريق، بما في ذلك إطفاء تلقائي أوسع، تقسيم أقوى، غرف طاقة منفصلة، قطع كهربائي عن بعد، مراجعات للموقع، عمل مع خدمات الإطفاء، وخيارات جديدة متعددة المناطق والنسخ الاحتياطي عن بعد. الإغلاق المسؤول يتطلب أدلة خاصة بالخدمة والموقع: تغطية تحكم مكتملة، فحص مستقل، تدريبات واقعية للحريق وعزل الطاقة، مواقع النسخ الاحتياطي المُعلنة، اختبارات استعادة ناجحة، وإثبات أن استرداد العميل لا يعتمد على المنطقة المتضررة أو نفس مستوى التحكم.
حريق مادي تحول إلى حدث مساءلة سحابية
عبارة 'بيانات في السحابة' تشجع على التجريد. إنها مفيدة للمهندسين الذين يريدون واجهة قياسية للقدرة الحاسوبية، لكنها خطيرة عندما يبدأ صناع القرار في اعتبار الموقع والطاقة والنار كتفاصيل خاصة بشخص آخر. كل خادم افتراضي يستقر في غرفة. كل نسخة تخزين تحتل معدات متصلة بأنظمة كهربائية وتبريد. كل سير عمل استرداد يعتمد على الأشخاص والشبكات وبيانات الاعتماد والكتالوجات ومكان يمكن الحصول على قدرة بديلة منه.
ستراسبورغ جعلت هذه السلسلة المادية مرئية. في الساعات الأولى من 10 مارس 2021، دمر الحريق SBG2، أحد المباني في حرم OVHcloud في ميناء الراين. تعرض SBG1 للتدمير الجزئي. تم إيقاف تشغيل مركزَي البيانات الآخرين في الموقع على الرغم من أن التحديث الأولي للشركة وصفهما بأنهما غير متضررين. لذا انتقلت الخسارة من خلال ثلاث آليات على الأقل: تم تدمير المعدات ماديًا؛ تعرضت المعدات في المباني المجاورة للحرارة والدخان والماء أو عدم اليقين؛ وأصبحت المعدات السليمة غير متاحة عندما اضطر الموقع إلى العزل كهربائيًا وجعله آمنًا.
تلك الآليات مهمة لأنها تتوافق مع ضوابط مختلفة. يمكن للإطفاء التلقائي والتقسيم احتواء الحريق. يمكن لمناطق الطاقة المستقلة تقليل المنطقة التي يحتاج رجال الإطفاء لفصلها. يمكن لتطبيق متعدد المواقع الاستمرار بينما موقع واحد غير متاح. يمكن للنسخ الاحتياطي البعيد والمتحقق منه دعم إعادة البناء بعد تدمير البيانات. يمكن لصفحة الحالة توجيه العملاء عبر تلك الخيارات. تسمية كل هذا بـ 'التكرار' تخفي من يتحكم في كل طبقة وأي حدث يمكن أن تنجو منه.
أكثر عملية إعادة بناء عامة موثوقة هي تقرير التحقيق الفرنسي الصادر في مايو 2022 من المكتب الفرنسي للتحقيق في المخاطر الصناعية (BEA-RI)والموجود على الرابط. كانت مهمته الوقاية، وليس توزيع المسؤولية المدنية أو الجنائية. هذه الحدود مهمة. يمكن للتقرير أن يثبت الملاحظات والأسباب المحتملة والعوامل المساهمة والتوصيات. لا يمكن تحويله إلى حكم محكمة بأن كل نقطة ضعف محددة كانت إهمالًا أو أن نقطة ضعف واحدة تسببت قانونًا في خسارة عميل معين.
تحليل المساءلة يطرح سؤالًا مرتبطًا لكنه أوسع: أي الأطراف كانت لديها سلطة على الظروف التي سمحت لحدث معدات ليلي واحد بأن يصبح انقطاعًا متعدد المباني واستعادة ممتدة وخسارة عميل لا رجعة فيها؟ OVH سيطرت على تصميم الموقع وتشغيله والمنتجات المقدمة ودقة أوصافها والاستجابة. العملاء سيطروا على تصنيف أعباء العمل والهندسة المعمارية والعديد من اختيارات الخدمة والنسخ المستقلة. المنظمون والهيئات المهنية سيطروا على أجزاء من الإطار الأدنى. لا يلغي أي من هذه الأدوار الآخر.
ما تثبته الأدلة وما لا تثبته
تقارير BEA-RI تضع أول إنذار عند الساعة 00:35. وصل حارس إلى غرفة الطاقة في SBG2 عند 00:37 ووجد دخانًا أسود كثيفًا. تم إخلاء المبنى عند 00:39، وتم استدعاء خدمة الإطفاء والإنقاذ في با-ران عند 00:42، ووصلت الفرق الأولى عند 00:59. استخدمت صفحة الحوادث العامة لـ OVH 00:47 كوقت اندلاع الحريق. يجب الحفاظ على الفرق بدلاً من إجباره على طابع زمني واحد: التحقيق في السلامة تمكن من الوصول إلى أجهزة الإنذار وسجلات التشغيل، بينما قدمت صفحة الشركة علامة حادث عامة.
تم قطع الطاقة الطارئة عن SBG2 عند 01:13 وعن SBG1 وSBG3 وSBG4 عند 01:28. شهدت فرق الإطفاء قوسًا كهربائيًا وأرجأت نشر المياه الرئيسي حتى يمكن السيطرة على المخاطر. بحلول الساعة 01:42، انتشر الحريق عبر الطابق الأول. حوالي الساعة 02:00، أبلغ رجال الإطفاء عن اشتعال عام لـ SBG2. وصلت زلاجة الإطفاء العالية السعة EUROPA حوالي الساعة 03:00، مستفيدة من الممر المائي المجاور. تم إخماد الحريق عند 10:02، واعتبر التدخل مكتملاً عند 18:13.
حدد التحقيق أصل الحريق في غرف تحتوي على بطاريات ومعدات إمداد الطاقة غير المنقطعة. أظهرت مقاطع الفيديو وسجلات المراقبة عطلًا كهربائيًا متزامنًا تقريبًا في وحدة UPS ASI2 والبطاريات المرتبطة بها، والتي كانت في غرف منفصلة. كانت هناك صيانة على UPS في ذلك الصباح وقياسات غير عادية للرطوبة في وقت لاحق من اليوم. أدرج المحققون عدة فرضيات، بما في ذلك الرطوبة أو عطل مرتبط بالصيانة أو التشغيل خارج الظروف المتوقعة. قالوا صراحة إن الأدلة كانت غير كافية لاختيار سبب محدد دقيق.
غالبًا ما فُقد هذا التقييد في روايات قالت إن نظام تسرب التبريد أو UPS تمت صيانته مؤخرًا 'تسبب' في الحريق. سجل الحوادث الفرنسي الرسمي ARIA(الرابط)هو تأكيد مفيد لبيئة غرفة المعدات والاستجابة، لكنه لا يحول آلية محتملة إلى سبب جذر مثبت. يجب أن يقول رواية موثوقة إن الأحداث الكهربائية المبكرة ومنطقة المنشأ معروفة؛ سبب حدوث تلك الأحداث لم يتم حله في تقرير BEA-RI المنشور.
التمييز لا يمنع تحليل التحكم. يجب أن تكون المنظمة مستعدة لتعطل المعدات دون معرفة أي مكون سيتعطل بعد ذلك. تصمم الحماية من الحرائق حول هذا عدم اليقين. السؤال المسؤول ليس فقط ما إذا كان ينبغي على OVH توقع تسلسل كهربائي معين. إنه ما إذا كان الكشف والتحكم التلقائي والتقسيم والمياه والعزل الكهربائي وتصميم المبنى وإجراءات الطوارئ قد أعطت الأشخاص والخدمات المجاورة حماية مستقلة كافية بعد اندلاع شيء ما.
اكتشف المبنى الخطر لكنه لم يستطع احتوائه
قام موقع ستراسبورغ بمهمة واحدة تتعلق بسلامة الأرواح بشكل جيد. عملت أجهزة الكشف البصري وشفط الدخان. سمح التوظيف الليلي بالتحقق السريع واستدعاء مبكر لرجال الإطفاء. نجا الجميع، ولم تكن هناك إصابات. ينسب تقرير BEA-RI الفضل لتلك الضوابط. يجب أن تحتفظ المساءلة بالحواجز الناجحة بعناية مثل الفاشلة، لأن التصميم المستقبلي يعتمد على معرفة ما اشترى وقتًا بالفعل.
لم يقترن الكشف بنظام إطفاء تلقائي. وجد التحقيق أنه لا يوجد في أي من مباني الموقع الخمسة نظام حماية تلقائي من الحرائق. كانت غرف البطاريات و UPS في SBG2 مراقبة، لكن لم يكن هناك نظام مصمم لإطفاء الحريق أو السيطرة عليه أو تأخيره في مرحلته الأولى. يمكن لمثل هذا النظام أن يعمل قبل الإغلاق الكهربائي الكامل ودون تعريض رجال الإطفاء للمعدات الحية. لم يضمن الإطفاء، خاصة في غرفة كهربائية، لكنه كان يمكن أن يغير منحنى نمو الحريق.
ثم ساعد المبنى الدخان والحرارة على الانتشار. استخدم SBG2 تصميمًا مفتوحًا يشبه البرج للتبريد، وكان شديد النفاذية للهواء الخارجي. في غضون خمس عشرة دقيقة من الحدث الأولي، تم تنشيط أجهزة الكشف بشفط الدخان في كل مستوى. حذرت BEA-RI أن توقيت الكشف أظهر دخانًا، وليس بالضرورة لهبًا، لكنها استنتجت أن البناء سمح للدخان بالانتشار بسرعة. في غضون تسعين دقيقة تقريبًا، كان SBG2 مشتعلًا بشكل عام. كانت التباين مع SBG3 المجاور مفيدًا: جدران مقاومة للحريق لمدة ساعتين وباب حريق، مع مياه الإطفاء، تركته أقل تضررًا من SBG1 الأصغر والأقل حماية.
تفاعل الماء والطاقة مع هذا التصميم. كان إمداد المياه العامة للإطفاء المتاح للاستجابة الأولى غير كافٍ للحدث المتطور، وفقًا للتحقيق، ولم يكن لدى OVH خزان مياه إطفاء خاص بها ولا وسيلة لضخ المياه مباشرة من القناة القريبة. كان وصول EUROPA حاسمًا. الاستقلال الكهربائي، وهو عادة قوة لمركز البيانات، جعل العزل الطارئ صعبًا أيضًا: جمع الموقع بين تغذية الشبكة والمولدات وأنظمة البطاريات الكبيرة. لم تستطع خدمة الإطفاء تطبيق تيارات مياه كبيرة بأمان حتى تم تحييد تلك المصادر.
هذا هو مفارقة مرونة البنية التحتية. الطاقة الاحتياطية تحافظ على الحوسبة أثناء انقطاع المرافق العادي، لكنها تصبح مصدر طاقة آخر يجب إدارته أثناء الحريق. تدفق الهواء المفتوح يمكن أن يقلل تكلفة التبريد ويحسن كفاءة التشغيل، لكنه يمكن أن يضعف احتواء الدخان والحرارة. المعدات الكثيفة والمرافق المشتركة للموقع يمكن أن تحسن اقتصاديات الحجم، لكنها تركز العواقب. كل تحسين يخلق خطرًا يجب السيطرة عليه بحاجز مختلف.
جادل رد OVH الرسميعلى توصيات BEA-RIبأن غياب الإطفاء التلقائي لم يخالف متطلبًا تنظيميًا وأن الإرشادات الصناعية التي استشهد بها التحقيق جاءت بعد تصميم SBG2. هذا ذو صلة بتحليل القانوني والامتثالي. إنها ليست نهاية المساءلة التشغيلية. الامتثال الأدنى يسأل عما إذا كانت القاعدة تفرض تحكمًا. المرونة تسأل عما إذا كان التحكم ضروريًا لسيناريو معقول وعالي العواقب. قرار OVH بعد الحريق بتعميم الإطفاء التلقائي عبر المواقع غير المجهزة هو بحد ذاته دليل على أن معالجة المخاطر تغيرت.
(ترجمة بقية المحتوى بالطريقة نفسها مع الحفاظ على البنية HTML والروابط والنصوص المحمية.)