ملخص
- أثر انقطاع Atlassian السحابي في أبريل 2022 على مجموعة صغيرة من العملاء، لكن الحدث حمل درسًا كبيرًا في المساءلة لأن الكائن المتأثر كان موقع العميل نفسه، وليس مجرد مكون خدمة مشترك.
- من كان لديه سيطرة عملية على أدوات الصيانة، وضمانات حذف المستأجر، وترتيب استعادة النسخ الاحتياطية، وتقديرات الاستعادة الخاصة بالعميل، ولغة صفحة الحالة، وإثبات أن استعادة الخدمة السحابية استعادت السياق التجاري بدلاً من توفر الخدمة فقط؟
- قضية المساءلة هي أن منصات البرامج السحابية للتعاون وسير العمل تحتفظ بالذاكرة التشغيلية، لذا فإن أدلة الاستعادة الخاصة بالعميل تهم أكثر من بيان عام بأن الخدمة تعمل.
- احتاجت فرق البرمجيات، وأقسام تكنولوجيا المعلومات، ومديري المشاريع، والشركات الصغيرة، وعملاء المؤسسات، والمدققين، ومشتري الخدمات السحابية إلى أدلة على أن استعادة المستأجر، وإشعار العميل، وتصميم النسخ الاحتياطية كانت مضبوطة كالتزامات استمرارية.
- تعتبر هذه المقالة بيانات Atlassian كدليل على ما أبلغ عنه Atlassian علنًا، وصفحات الحالة والثقة كالتزامات تشغيلية ومفردات، ومواد العقد كتوزيع للواجبات موجه للعملاء، ومواد المعايير كمعايير رقابية بدلاً من نتائج بأثر رجعي.
لماذا تنتمي هذه القضية إلى ملف المخاطر والمساءلة
جعلت Atlassian استعادة الموقع السحابي اختبارًا لمساءلة استمرارية المستأجر لأن المشغل العام كشف عن فرق غالبًا ما يخلطه مشترو الخدمات السحابية. يمكن أن تكون منصة البرامج السحابية متاحة بشكل عام بينما يكون مستأجر معين غائبًا أو غير مكتمل أو لا يزال ينتظر استعادة تم التحقق منها. هذا الفرق مهم للوحات Jira Software، وقوائم Jira Service Management، ومساحات Confluence، وسجلات الحوادث، وتواريخ الإصدارات، ومسارات الموافقة، وملاحظات المشتريات، وطلبات العملاء، والذاكرة الهندسية الداخلية. في تلك البيئات، موقع العميل ليس مجرد حاوية. إنه المكان الذي يتم فيه وصف العمل وتحديد أولوياته والموافقة عليه ومراجعته وتصعيده وتذكره.
يصف تحديث الهندسة العام لـ Atlassian على source: atlassian.com نمط فشل تعليمي بشكل غير عادي لمساءلة الخدمات السحابية. قال Atlassian إن الحادث أثر على حوالي 400 عميل، وأنه تم تشغيل برنامج صيانة بوضع تنفيذ خاطئ وقائمة خاطئة من معرفات مواقع العملاء، وأن الاستعادة تطلبت إعادة بناء من النسخ الاحتياطية بدلاً من مجرد إعادة تشغيل الخدمة. هذه الحقائق العامة لا تثبت كل تفاصيل الرقابة الداخلية، والمقالة لا تعاملها كملف تحقيق خاص. لكنها تظهر لماذا تضمنت أسطح السيطرة العملية أدوات الصيانة، وضمانات الحذف، وتصميم النسخ الاحتياطية، وتسلسل الاستعادة، والتواصل الخاص بالعميل.
يغير هذا السطح الرقابي إطار المساءلة. تسأل مراجعة الانقطاع التقليدية عما إذا كانت الخدمة تعمل، وما إذا كانت اتصالات الحادث في الوقت المناسب، وما إذا كان المزود قد وجد السبب الجذري. تظل هذه الأسئلة ضرورية. لكنها ليست كافية عندما تكون الوحدة المتأثرة مستأجرًا يحتوي على تاريخ تشغيلي. يحتاج العملاء إلى معرفة ما إذا كان موقعهم المحدد قد تمت استعادته، وما إذا كانت المرفقات والعلاقات سليمة، وما إذا كانت عمليات التكامل يمكن أن تستأنف بأمان، وما إذا كان يجب إعادة تشغيل قواعد الأتمتة، وما إذا كانت تذاكر الخدمة قد فقدت أو تأخرت، وما إذا كانت أدلة المراجعة لا تزال تدعم القرارات المتخذة قبل الانقطاع.
لا يمكن لحالة مكون خضراء الإجابة على هذه الأسئلة على مستوى المستأجر بمفردها.
السؤال المركزي ليس مجرد بلاغة. من كان لديه سيطرة عملية على أدوات الصيانة، وضمانات حذف المستأجر، وترتيب استعادة النسخ الاحتياطية، وتقديرات الاستعادة الخاصة بالعميل، ولغة صفحة الحالة، وإثبات أن استعادة الخدمة السحابية استعادت السياق التجاري بدلاً من توفر الخدمة فقط؟ يجب أن تفصل الإجابة بين السيطرة من جانب المزود وواجبات الاستمرارية من جانب العميل. سيطرت Atlassian على أداة الصيانة الداخلية، وقائمة الهدف، ومسار الحذف، وآليات استعادة النسخ الاحتياطية، واللغة المستخدمة لوصف الاستعادة. سيطر العملاء على بعض الصادرات، والحلول البديلة للعمليات المحلية، وتصعيد مخاطر الموردين، والتسوية اللاحقة.
لكن العملاء لم يتمكنوا من استعادة مستأجر Atlassian السحابي من نظام النسخ الاحتياطي الداخلي لـ Atlassian. هذا التباين هو قضية المساءلة.
المستأجر هو سجل تشغيلي، وليس مكون خدمة عام
يمكن أن تبدو كلمة "موقع" إدارية. في استمرارية الخدمات السحابية، هي أكثر تأثيرًا بكثير. يمكن أن يحتوي موقع سحابي على رسم بياني للمشكلات يحدد إصدار منتج، وقائمة مكتب الخدمة التي تحدد وعود العملاء، ومساحة Confluence التي تحدد ذاكرة العملية، وسلسلة الموافقة التي تدعم المراجعة، وحالة التكامل التي تخبر الأدوات الأخرى بما حدث. فقدان الوصول العادي إلى هذا الموقع يعطل العمل نفسه وكذلك يعطل الأدلة التي يتم بها تنسيق العمل. لذلك يجب أن تستعيد الاستعادة أكثر من مجرد التوفر. يجب أن تستعيد السياق.
مشكلة المساءلة مرئية في التمييز بين صحة المنصة وصحة المستأجر. يمكن لصفحة الحالة العامة على source: status.atlassian.com إخبار العملاء عما إذا كانت Atlassian تبلغ عن حوادث نشطة أو مشاكل في المكونات. هذا دليل مشترك أساسي. لكن صفحة الحالة مشتركة بين جماهير عديدة. لا يمكنها، بحكم تصميمها، إثبات أن روابط مشكلات Jira لعملاء معينين، وصفحات Confluence، والمرفقات، والأذونات، وقواعد الأتمتة، وحالات تطبيقات السوق، وتواريخ التكامل قد عادت إلى حالة جديرة بالثقة. تتطلب استعادة المستأجر ملف إثبات على مستوى أدنى.
كما يعاني العملاء من انقطاع المستأجر بشكل مختلف حسب دورهم. قد يفقد فريق برمجيات صغير لوحة السباق وملاحظات الإصدار. قد يفقد فريق الدعم الرؤية لتذاكر العملاء المفتوحة. قد تفقد مؤسسة منظمة القدرة على إظهار موافقات التغيير أو تاريخ إدارة الحوادث. قد يواجه فريق المشتريات أسئلة داخلية حول سبب عدم تمكن مزود الخدمات السحابية المختار من تقديم تقدير استعادة خاص بالموقع بسرعة. لذلك يخلق نفس حادث المزود واجبات مساءلة مختلفة للهندسة والقانون والامتثال ودعم العملاء والقيادة التنفيذية.
لهذا السبب، يمكن أن تكون صياغة "الخدمة مستعادة" العامة دقيقة ومع ذلك غير كافية. إذا كان الموقع يحتوي على ذاكرة أعمال، يجب أن تتضمن الاستعادة طبقة تسوية. يحتاج العملاء إلى معرفة أي نافذة زمنية تأثرت، وما إذا كانت أي بيانات غير قابلة للاسترداد، وما إذا كانت العمليات التي تم تنفيذها خلال فترات الحلول البديلة يجب إعادة إدخالها، وما إذا كان يجب إعادة مزامنة الأدوات المتصلة، وما إذا كان يجب أن تكشف سرديات المراجعة عن انقطاع المزود. قد لا يكون المزود قادرًا على الإجابة على كل سؤال تجاري خاص بالعميل، لكنه يتحكم في الأدلة التي تجعل تلك الأسئلة قابلة للإجابة.
عمليات التكامل تجعل استعادة الموقع حدثًا عبر الأنظمة
حدود المستأجر أوسع أيضًا من واجهة المستخدم للمنتج. غالبًا ما يتصل موقع Jira أو Confluence بموفري الهوية، وتطبيقات السوق، وأدوات الدردشة، وأدوات إدارة الحوادث، ومنصات التعليمات البرمجية المصدرية، وأنظمة دعم العملاء، وصادرات ذكاء الأعمال، وقواعد الأتمتة. لذلك يمكن أن يكون المستأجر المستعاد متاحًا تقنيًا بينما لا تزال بيئته التشغيلية المتصلة في حالة غير مؤكدة. الأدلة المفقودة ليست فقط ما إذا كانت Atlassian قد استعادت البيانات. بل ما إذا كان العميل يمكنه تحديد الأنظمة الخارجية التي استهلكت حالة قديمة أو غائبة أو مكررة أو متأخرة خلال نافذة الانقطاع.
تغير طبقة التكامل هذه معنى تسلسل الاستعادة. إذا كان متتبع المشكلات يغذي سير عمل النشر، يمكن أن تؤدي بطاقة مفقودة إلى تأخير إصدار أو إخفاء فجوة موافقة. إذا كانت قائمة مكتب الخدمة تغذي سير عمل اتصال العملاء، يمكن أن يؤدي تأخير الاستعادة إلى تغيير ما قيل للعملاء ومتى. إذا كانت صفحات Confluence هي مصدر الإجراءات التشغيلية، فقد يعمل الفريق من نسخة مخبأة أو تصدير محلي أو ذاكرة بينما السجل الرسمي غير متاح. بعد عودة الموقع، يجب على المؤسسة أن تقرر أي سجل مؤقت هو المرجع وأي عمل تم تنفيذه أثناء الانقطاع يجب نسخه مرة أخرى إلى المنصة.
هنا يصبح الانقسام بين المزود والعميل مرئيًا بشكل خاص. يمكن لـ Atlassian استعادة المستأجر وتقديم أدلة تحقق على مستوى المنتج. لا يمكنها معرفة كل نظام تابع قام العميل بتوصيله، أو كل أتمتة فشلت، أو كل حل بديل يدوي حل محل الموقع. يحتاج العملاء إلى خريطة التبعيات الخاصة بهم. لكن خريطة تبعيات العميل تعتمد على أدلة المزود للنافذة المتأثرة، ومرحلة الاستعادة، والاستثناءات المعروفة، وأسطح المنتج المعنية. بدون تلك الأدلة، لا يمكن للعميل التمييز بين مشكلة تكامل محلية ونتيجة استعادة من المزود.
تضيف تطبيقات السوق طبقة مساءلة أخرى. قد يعتمد العميل على حقول خاصة بالتطبيق، وأتمتة، وأذونات، وتقارير، أو حالة تكامل توجد بجانب بيانات المنتج الأساسية. قد تتطلب استعادة المستأجر المكتملة لجداول المنتج الأساسية تحققًا من العميل أو بائع التطبيق قبل أن تكون عمليات الأعمال جديرة بالثقة تمامًا. هذا لا يعني أن Atlassian مسؤولة عن كل سلوك تطبيق طرف ثالث. يعني أن لغة الاستعادة العامة يجب أن تتجنب التلميح إلى أن الوصول إلى الموقع وحده يثبت أن بيئة التعاون بأكملها قد عادت إلى حالتها قبل الحادث.
بالنسبة للمدققين ومجالس الإدارة، السؤال الرئيسي هو ما إذا كانت تسوية التكامل قد تم التخطيط لها قبل الانقطاع. يجب أن يتضمن ملف استمرارية الخدمات السحابية الناضج سجلًا للتكاملات الحرجة، والعملية التجارية التي يدعمها كل تكامل، والمالك الذي يمكنه التحقق منه، والأدلة اللازمة لإغلاقه بعد استعادة المزود. لا يجب أن يكون السجل مفصلاً. لكن يجب أن يكون موجودًا قبل أن يعيد الأشخاص بناء أيام من العمل من رسائل الدردشة أو الملاحظات المحلية أو لقطات الشاشة.
فشل البرنامج النصي يوضح لماذا تحتاج ضوابط الحذف إلى معيار مختلف
جعل الحساب العام لـ Atlassian مشكلة البرنامج النصي للصيانة محورية في الحادث. بعبارات بسيطة، تم تنفيذ أداة تهدف إلى حذف بيانات التطبيق القديمة بوضع وقائمة معرفات تسببت في حذف موقع أوسع لمجموعة محدودة من العملاء. نقطة المساءلة المهمة ليست أن برنامجًا نصيًا فشل. كل مزود معقد يستخدم أدوات إدارية. النقطة هي أنه يجب معالجة الأدوات التدميرية داخل مزود الخدمات السحابية كخطر استمرارية، وليس فقط كراحة هندسية.
بالنسبة للأدوات التدميرية، التحكم في الوصول العادي هو فقط الطبقة الأولى. يسأل ملف التحكم الأقوى عما إذا كانت الأداة تحتوي على سلوك تشغيل تجريبي، وحدود نصف قطر الانفجار، وتفويض مزدوج، وقوائم السماح لمواقع العملاء، والتحقق من صحة أنواع الكائنات المتوقعة، وشروط الإيقاف، وتحذيرات الإجراءات غير القابلة للإلغاء، وحدود المعدل، والمراقبة المستقلة. يسأل عما إذا كانت الأداة يمكنها حذف مستأجر كامل عندما كان الهدف المقصود كائن بيانات تطبيق. يسأل عما إذا كان المشغل يمكنه رؤية، قبل التنفيذ، الفرق بين مجموعة الكائنات المتوقعة ومجموعة الكائنات المحددة فعليًا. هذه أسئلة حوكمة يتم التعبير عنها كضوابط هندسية.
يظهر حدث أبريل 2022 أيضًا لماذا "نادر" ليس مثل "منخفض التأثير". يمكن أن تمثل مجموعة فرعية من العملاء لا تزال تعطيلًا تجاريًا شديدًا لكل مؤسسة متأثرة. لا ينبغي أن تعتمد مساءلة الخدمات السحابية فقط على نسبة التأثير عبر قاعدة المزود بأكملها. يجب أيضًا تقييم الشدة عند مستأجر العميل. إذا كان المزود يخدم مئات الآلاف من المستأجرين وتأثر بضع مئات فقط، يمكن أن تبدو نسبة التوفر الإجمالية مقبولة بينما يواجه العملاء المتأثرون أيامًا من الضعف التشغيلي. يجب أن تقيس حوكمة الاستمرارية كليهما.
تنطبق نفس النقطة على الموافقة التشغيلية. يمكن أن يكون برنامج الحذف النصي صحيحًا في معظم التشغيلات السابقة وما زال بحاجة إلى نموذج حماية يفترض مجموعة أهداف خاطئة في المستقبل، أو علم خاطئ، أو بيئة خاطئة، أو افتراض مشغل خاطئ. السؤال الصحيح ليس ما إذا كانت مهمة الصيانة مشروعة. بل ما إذا كانت مهمة مشروعة يمكن أن تمر عبر فحوصات مستقلة كافية قبل أن تمس حالة مستأجر الإنتاج. في منصة سحابية، يجب ألا تتفوق راحة الصيانة الداخلية أبدًا على قابلية استعادة المستأجر.
تقديرات الاستعادة الخاصة بالعميل جزء من سجل التحكم
غالبًا ما يتم مراجعة الاتصال كوظيفة علاقات عامة. في انقطاع على مستوى المستأجر، هو جزء من سجل التحكم التشغيلي. العميل الذي يقرر ما إذا كان يبقي فرق الدعم في حل بديل يدوي، أو يوقف إصدارًا، أو يخطر مستخدميه، أو يحتفظ بملاحظات بديلة، أو يصعد إلى جهة تنظيمية يحتاج إلى تقدير زمني محدد بما يكفي لتوجيه العمل. يمكن أن يكون تحديث عالمي يقول إن العمل مستمر صادقًا ومع ذلك لا يدعم قرار العميل التالي.
تعتبر مراجعة ما بعد الحادث لـ Atlassian على source: atlassian.com مهمة لأنها تجاوزت ملاحظة حالة قصيرة ووصفت موضوعات تصحيحية. لأغراض المساءلة، قيمة مراجعة ما بعد الحادث ليست أنها تبدو نادمة. بل أنها يجب أن تضيق عدم اليقين. يجب أن تربط المشغل، والكائن المتأثر، وتأثير العميل، وطريقة الاستعادة، والضوابط الوقائية، والمالك للمتابعة. عندما لا تقوم المراجعة بهذه الروابط، يُترك العملاء لاستنتاج ما إذا كان المزود قد أصلح نمط الفشل الفعلي أو فقط حسن الرسائل حوله.
تقديرات الاستعادة الخاصة بالعميل صعبة لأنها تتطلب حقيقة تشغيلية تحت الضغط. قد يعتمد قائمة انتظار الاستعادة على حجم النسخ الاحتياطي، ومزيج المنتجات، وعلاقات البيانات، وتطبيقات السوق، وفحوصات التحقق، والمراجعة اليدوية، والاختناقات الهندسية. نشر تقدير دقيق مبكرًا جدًا يمكن أن يضلل العملاء إذا تغيرت الافتراضات. نشر لغة عامة فقط يمكن أن يترك العملاء غير قادرين على التخطيط. إجابة المساءلة هي الكشف عن أساس التقدير: ما هو معروف، وما لا يزال قيد الاختبار، وما يمكن أن يغير التاريخ، ومتى سيكون التحديث التالي ذا معنى.
يجب أن يميز هذا الكشف أيضًا مراحل الاستعادة. يمكن تحديد موقع على أنه متأثر، أو في قائمة الانتظار للاستعادة، أو مستعاد إلى بيئة داخلية، أو تم التحقق منه بفحوصات المزود، أو مكشوف للعميل، أو مراقب بعد إعادة التنشيط، أو مغلق بعد تأكيد العميل. كل مرحلة تحمل معنى تشغيليًا مختلفًا. تسمية "جارٍ الاستعادة" واحدة خشنة جدًا للعملاء الذين يحتاجون إلى اتخاذ قرار بشأن استئناف العمل. لغة حالة أفضل سترسم المرحلة، والأدلة، وإجراء العميل المتبقي.
ترتيب الاستعادة هو قرار حوكمة
يوصف ترتيب الاستعادة أحيانًا كقائمة انتظار هندسية، لكنه أيضًا قرار حوكمة. إذا لم يمكن استعادة كل مستأجر متأثر في وقت واحد، يجب على المزود اختيار تسلسل. قد يعتمد هذا التسلسل على حجم النسخ الاحتياطي، أو تعقيد المنتج، أو التبعيات التقنية، أو ثقة التحقق، أو تصعيد الدعم، أو الالتزامات التعاقدية، أو الاستخدام المنظم، أو أهمية العميل. يمكن أن يكون كل عامل قابلاً للدفاع. يظهر خطر المساءلة عندما تكون العوامل غير مرئية ولا يمكن للعملاء معرفة ما إذا كانوا ينتظرون بسبب ضرورة تقنية أو فرز تشغيلي أو ضوضاء تصعيد الدعم.
ترتيب استعادة مسؤول لا يتطلب نشر تصنيف عام للعملاء. يتطلب مجموعة قواعد داخلية يمكنها البقاء بعد المراجعة اللاحقة. يجب أن يكون المزود قادرًا على شرح ما إذا كان قد استعاد أبسط المستأجرين أولاً لإثبات العملية، أو أعطى الأولوية للمستأجرين الأكثر تعقيدًا لأنهم حملوا خطرًا أكبر، أو جمع تكوينات منتج مماثلة، أو صعد العملاء ذوي الواجبات العامة أو المنظمة المعروفة لاستمرارية الخدمة. تهم القاعدة لأنها تحدد من يتحمل وقت الانقطاع بينما لا يزال المزود يصلح الفشل.
يحتاج العملاء إلى نسخة من هذا المنطق مترجمة إلى إجراء. إذا كان العميل متأخرًا في قائمة الانتظار لأن موقعه يتمتع بتعقيد منتج غير عادي، يمكنه التخطيط بشكل مختلف عن عميل ينتظر لأن التحقق من النسخ الاحتياطي لم يكتمل بعد. إذا قيل للعميل فقط أن الاستعادة مستمرة، فقد يفرط في الالتزام تجاه أصحاب المصلحة. إذا عرف العميل أن الاستعادة مكتملة تقنيًا ولكن التحقق بعد الاستعادة معلق، يمكنه إعداد فرق التحقق الداخلية. يمكن أن يعني نفس التاريخ المقدر أشياء مختلفة اعتمادًا على المرحلة والسبب وراءه.
يؤثر ترتيب الاستعادة أيضًا على الحفاظ على الأدلة. الفريق الذي ينتظر عدة أيام قد يجمع سجلات يدوية أكثر، وعملًا مكررًا أكثر، واتصالات عملاء أكثر، وانحراف تكامل أكثر من فريق تمت استعادته مبكرًا. يحتاج ذلك العميل المتأخر إلى إرشادات تسوية أقوى. المزود الذي يعامل كل مستأجر مستعاد على أنه مكافئ يفوت العبء التراكمي للوقت. لذلك يجب أن يميز سجل المساءلة بين وقت الانقطاع المنقضي، ومرحلة الاستعادة، والاستثناءات المعروفة، وعبء تسوية العميل.
بالنسبة لمجالس الإدارة، هذا هو الجزء غير المريح من تركيز الخدمات السحابية. عندما تعتمد العديد من المنظمات على قائمة انتظار الاستعادة الداخلية لمزود واحد، يصبح المزود موزعًا مؤقتًا لاستمرارية الأعمال. قد يكون هذا التوزيع ضروريًا وعقلانيًا من الناحية التقنية. لا ينبغي أن يكون غير مرئي. يجب أن تذكر مراجعة ما بعد الحادث كيف تمت حوكمة تسلسل الاستعادة، وما هي المقاييس المستخدمة، وما الذي تغير بحيث تكون قائمة انتظار الاستعادة التالية أقصر وأفضل دليلًا وأسهل للعملاء لتفسيرها.
أدلة النسخ الاحتياطي تهم فقط إذا كانت قابلة للفصل عن الفشل
غالبًا ما يتم الإعلان عن النسخ الاحتياطية كمرونة، لكن حدث أبريل 2022 يظهر أن السؤال المسؤول ليس فقط ما إذا كانت النسخ الاحتياطية موجودة. بل ما إذا كانت النسخ الاحتياطية مستقلة بما يكفي، وكاملة بما يكفي، وقابلة للاختبار بما يكفي لاستعادة مستأجر عندما يكون مستوى التحكم من جانب المزود هو مصدر الفشل. النسخ الاحتياطي الذي يتم تخزينه أو تفويضه أو حذفه أو استعادته من خلال نفس المسار المعيب مثل مستأجر الإنتاج قد لا يخلق فصلاً حقيقيًا. النسخ الاحتياطي الموجود لكن لا يمكن استعادته بسرعة كافية لمستأجر حاسم للأعمال قد لا يزال يفشل في تلبية توقع الاستمرارية الذي اعتقد العملاء أنهم اشتروه.
توفر مواد الثقة والمرونة لـ Atlassian على source: atlassian.com مفردات مفيدة لكيفية تقديم الشركة للموثوقية والمرونة والممارسات التشغيلية. تستخدم المقالة هذه المواد كسياق رقابي حالي، وليس كدليل على أن كل عنصر تحكم تصرف بطريقة معينة في أبريل 2022. تنطبق نفس الحدود على source: atlassian.com، الذي يساعد القراء على فهم كيف تصف Atlassian مسؤوليات إدارة البيانات وحمايتها. صفحات الثقة العامة قيمة لأنها تخبر العملاء بما يعتبره المزود جزءًا من نموذج الضمان الخاص به. لا تحل محل الأدلة الخاصة بالحادث.
سجل نسخ احتياطي مسؤول لهذا النوع من الأحداث سيجيب على ستة أسئلة على الأقل. ما مجموعة النسخ الاحتياطي المستخدمة لكل مستأجر متأثر؟ ما نقطة الاسترداد التي مثلتها؟ ما ترتيب الاستعادة المطبق؟ ما التحقق الذي أظهر أن بيانات المنتج والأذونات والمرفقات والعلاقات كانت سليمة؟ ما البيانات، إن وجدت، التي لا يمكن استردادها؟ ما الإجراء الذي كان مطلوبًا من العميل بعد الاستعادة؟ هذه الأسئلة ليست أكاديمية. إنها تقرر ما إذا كان العميل يمكنه الوثوق بالمستأجر المستعاد كسجل موثوق.
أقوى دليل سيظهر أيضًا بروفة الاستعادة. المزود الذي اختبر استعادة على مستوى المستأجر تحت نطاق واقعي يمكنه التواصل بشكل مختلف عن المزود الذي يكتشف التبعيات أثناء الحادث. لا تقضي البروفة على المفاجآت، لكنها تغير ملف الإثبات. تسمح للمزود بنشر المراحل المتوقعة، والاستثناءات الشائعة، وبوابات التحقق، ومسارات التصعيد دون اختراعها تحت الضغط. لمنصة سحابية تحتفظ بذاكرة تشغيلية، بروفة الاستعادة هي التزام استمرارية موجه للعملاء حتى عندما تكون البروفة نفسها داخلية.
لا يمكن للتخصيص القانوني أن يحل محل الوضوح التشغيلي
العقود ومستويات الخدمة مهمة، لكنها ليست سجل المساءلة بأكمله. اتفاقية عملاء Atlassian على source: atlassian.com ومواد مستوى الخدمة على source: atlassian.com تساعد في تعريف الشروط القانونية والتجارية التي بموجبها يستخدم العملاء المنتجات السحابية. هذه المستندات ذات صلة لأن فرق المشتريات والقانون تحتاج إلى فهم العلاجات والالتزامات والاستثناءات. لا تخبر بمفردها فريق الهندسة ما إذا كان الموقع المستعاد يحتوي على مرفقات كاملة أو ما إذا كان يمكن الوثوق بتاريخ تذكرة الدعم.
هذا التمييز مهم لأن مشتري الخدمات السحابية يمكن أن يخلطوا بين التخصيص التعاقدي والجاهزية التشغيلية. قد يخصص العقد المخاطر، أو يحد من المسؤولية، أو يعرف الاعتمادات. لا يزال يتعين على خطة الاستمرارية إبقاء الأعمال تعمل. إذا كان المزود يتحكم في مسار الاستعادة العملي الوحيد، يحتاج العميل إلى أدلة على أن تصميم استعادة المزود ذو مصداقية تشغيلية. إذا كان على العميل واجبات لتصدير البيانات أو الحفاظ على سجلات طوارئ محلية، لا يزال المزود بحاجة إلى وصف ما يمكن أن تفعله الصادرات وما لا يمكنها فعله عندما يصبح المستأجر نفسه غير متاح.
المصدر العام على source: support.atlassian.com مفيد لسبب منفصل ولكنه ذو صلة. يظهر كيف يفكر عملاء الخدمات السحابية غالبًا من حيث مكان استضافة البيانات، والذي يمكن أن يكون مهمًا للامتثال والحوكمة. لكن الموقع ليس مثل قابلية الاسترداد. يمكن أن يكون المستأجر موجودًا في المنطقة المتوقعة وما زال غير متاح. يمكن أن يحترم النسخ الاحتياطي وعود الإقامة وما زال بحاجة إلى ضوابط استعادة مستقلة. لذلك يجب أن تتجنب حوكمة مخاطر الخدمات السحابية معاملة إقامة البيانات، واتفاقية مستوى الخدمة التعاقدية، واستمرارية المستأجر كأفكار قابلة للتبادل.
ينطبق نفس التمييز على الهجرة السحابية واعتماد المؤسسات. تعكس مواد Atlassian للمؤسسات السحابية على source: atlassian.com حجة المزود الأوسع لنقل العمل التنظيمي إلى المنتجات السحابية. كلما أصبحت هذه الحجة أقوى، أصبح عبء الاستمرارية أقوى. عندما تصبح المنصة المكان الذي يحدث فيه العمل اليومي، تصبح أدلة استعادة المزود جزءًا من ملف المخاطر الخاص بالعميل. يجب أن يطلب المشتري تلك الأدلة قبل الحادث التالي، وليس بعد اختفاء موقع العميل من الوصول العادي.
جانب العميل لا يزال لديه واجبات استمرارية
مساءلة المزود لا تمحو مسؤولية العميل. العميل الذي يعتمد على منصة سحابية للعمل الحاسم للأعمال يجب أن يعرف الفرق التي تعتمد عليها، والعمليات التي تتوقف عندما تكون غير متاحة، والصادرات أو التقارير المحلية الضرورية، وسير العمل التي تحتوي على حلول بديلة يدوية، والعملاء أو الموظفين الذين يجب إخطارهم، والمالك الداخلي الذي يمكنه قبول التشغيل المتدهور. حقيقة أن Atlassian سيطرت على مسار الصيانة الفاشل لا يعني أن كل خيار استمرارية نهائي كان يخص Atlassian.
مشكلة جانب العميل هي أن العديد من منصات الخدمات السحابية تصبح حرجة ببطء. يبدأ فريق صغير بتتبع المشكلات. يضيف فريق آخر إدارة الخدمة. يستخدم فريق ثالث Confluence للسياسات. تبدأ عمليات التكامل في إنشاء تبعيات عبر الأدوات. توجّه قواعد الأتمتة العمل. تتراكم أدلة المراجعة. بحلول وقت حدوث انقطاع الموقع، لم تعد المنصة أداة يمكن للشخص تجاهلها ليوم واحد. إنها نظام تنسيق. يحتاج العملاء إلى جرد هذه التبعية قبل أن يجبرهم حادث مزود على اكتشافها تحت الضغط.
بالنسبة للمؤسسات الصغيرة والمتوسطة، هذا صعب بشكل خاص. قد تفتقر المنظمات الأصغر إلى مكتب مخاطر الموردين، أو فريق استمرارية أعمال رسمي، أو مسؤول Atlassian داخلي لديه وقت للحفاظ على الصادرات وكتيبات الحوادث. ومع ذلك قد تعتمد بشكل كبير على Jira أو Confluence لأن الخدمات السحابية هي كيف تتجنب الفرق الصغيرة تشغيل البنية التحتية الخاصة بها. هذا المنطق الاقتصادي عقلاني. كما يعني أن اتصال المزود وأدلة الاستعادة يجب أن تكون مفهومة للمنظمات التي ليس لديها موظفين مخصصين للمرونة. استمرارية المؤسسات الصغيرة والمتوسطة ليست واجبًا أقل لأن العميل أصغر.
بالنسبة للمؤسسات، القضية مختلفة. قد يكون لدى العملاء الكبار برامج استمرارية، لكن يمكن أن يكون لديهم أيضًا مستأجرون أكثر تعقيدًا، وعمليات تكامل أكثر، وسجلات منظمة أكثر، وأصحاب مصلحة داخليين أكثر. الاستعادة التي تعمل تقنيًا قد لا تزال تتطلب تسوية مؤسسية عبر موفري الهوية، وبوابات الدعم، وسير عمل النشر، والتعليقات القانونية، وتقارير المراجعة. يجب أن يدعم ملف الإثبات الخاص بالمزود هذه التسوية. لا يمكن للعميل إغلاق حادثه الداخلي بمسؤولية إذا لم يتمكن من ربط مراحل استعادة المزود بعملياته التجارية الخاصة.
يجب أن تفصل أدلة الحالة بين الرؤية المشتركة والإثبات الخاص
تلعب صفحات الحالة دورًا مهمًا في مساءلة الخدمات السحابية. إنها تخلق مكانًا عامًا مشتركًا حيث يمكن للعملاء رؤية ما إذا كان المزود قد أقر بمشكلة وكيف يصف صحة المكون. لكن صفحات الحالة لا يمكنها حمل كل تفاصيل الاستعادة الخاصة. التحدي في التصميم هو جعلها دقيقة بما يكفي لمنع الطمأنينة الكاذبة مع الحفاظ على القناة الخاصة بالعميل لمعلومات الاستعادة الحساسة.
يجب أن يحدد تحديث الحالة المفيد لانقطاع على مستوى المستأجر عائلة المنتج المتأثرة، وفئة العملاء المتأثرين، وطبيعة الكائن المتأثر، ومرحلة الاستعادة الحالية، والمعلم التالي ذو المعنى، والقناة التي من خلالها سيتلقى العملاء المتأثرون معلومات خاصة بالموقع. يجب أن يتجنب اللغة التي توحي بفشل عام للمنصة عندما تكون المشكلة خاصة بالمستأجر، ويجب أن يتجنب اللغة التي توحي باستعادة كاملة عندما تكون المرحلة الداخلية الأولى فقط قد اكتملت. الدقة ليست فقط تفضيل كتابي. إنها عنصر تحكم.
لذلك من الأفضل فهم صفحة حالة Atlassian العامة على source: status.atlassian.com كمسار أدلة واحد. يمكنها إظهار تاريخ الحوادث المشترك ولغة المكونات الموجهة للمزود. تشكل حالة دعم العميل المتأثر، ورسائل البريد الإلكتروني المباشرة، وإشعارات لوحة الإدارة، وتقارير التحقق بعد الاستعادة مسار أدلة آخر. يجب أن تتوقع جهة تنظيمية أو مدقق أو مجلس يراجع الحدث كليهما. إذا تم الحفاظ على سجل الحالة العام فقط، قد تختفي الأدلة الخاصة بالعميل. إذا كانت خيوط الدعم الخاصة فقط موجودة، قد يقلل سجل المساءلة العام من النمط.
ينطبق نفس المنطق على اتصالات العملاء بعد الاستعادة. لا ينبغي للمزود إغلاق الحادث فقط لأن الأنظمة أعيد تنشيطها. يجب أن يكون الإغلاق مرتبطًا بالأدلة: اكتمال التحقق، وإدراج الاستثناءات المعروفة، وطلب إجراء العميل، وتعيين الأسئلة غير المحلولة، ووصف الضوابط الوقائية المستقبلية. هذا لا يتطلب من المزود الكشف عن تفاصيل معمارية حساسة. يتطلب من المزود شرح نوع الإثبات الذي يدعم الادعاء بأن سياق الأعمال قد عاد.
الإثبات السلبي مهم بعد عودة المستأجر
تخلق الاستعادة مشكلة إثبات ثانية: يحتاج العملاء إلى معرفة ليس فقط ما تم استرداده، ولكن أيضًا ما لم يحدث. هل وجد المزود أي سجلات غير قابلة للاسترداد؟ هل تم استبعاد أي مرفقات؟ هل أعيد بناء أي حالات إذن من مصدر لاحق من محتوى المنتج؟ هل تم تعطيل أي قواعد أتمتة أو إعادة تشغيلها أو تركها للعملاء لفحصها؟ هل كانت أي حالات تطبيق سوق خارج حدود تحقق المزود؟ هذه العبارات السلبية غالبًا ما تكون أصعب في الكتابة من ادعاءات الاستعادة الإيجابية، لكنها أكثر فائدة لقرارات مخاطر العميل.
السبب بسيط. يمكن للعميل اختبار ما يراه. من الصعب اختبار ما قد يكون مفقودًا. يمكن لمدير المشروع فتح لوحة ورؤية المشكلات. يمكن لمدير الخدمة رؤية قائمة انتظار. يمكن للمدقق فحص بعض الصفحات. لا يثبت أي من هذه الفحوصات أن كل علاقة ومرفق وتعليق تاريخي وحالة webhook أو حافة إذن هي بالضبط كما كانت قبل الحادث. لذلك يجب أن يخبر تقرير التحقق من المزود العملاء أي اختبارات الاكتمال تم إجراؤها وأي المناطق تبقى خارج ضمان المزود.
الإثبات السلبي يحمي المزود أيضًا. بدون حدود واضحة، يمكن أن يُعزى كل شذوذ بيانات لاحق إلى الانقطاع، حتى عندما يكون سببه سير عمل العميل أو سلوك تكامل طرف ثالث أو تكوين غير ذي صلة. المزود الذي يقول بالضبط ما تم فحصه، وما لم يتم فحصه، وما يجب على العملاء التحقق منه يعطي الجميع طريقة أنظف لفصل بقايا الحادث عن الانحراف التشغيلي العادي. هذا أفضل من الطمأنينة الواسعة لأنه يجعل النزاعات اللاحقة أكثر واقعية.
بالنسبة لمنصة سحابية تحتفظ بذاكرة تشغيلية، أفضل لغة إغلاق ستجمع بين حالة الاستعادة، وحالة الاستثناء، وخطوات تحقق العميل، ومسارات تصعيد الدعم. ستقول، في الواقع: إليك ما استعددناه، إليك كيف فحصناه، إليك ما لا يمكننا التحقق منه بشكل مستقل لك، إليك ما يجب عليك فحصه، وإليك كيفية الإبلاغ عن تناقض. هذا هو الفرق بين الإعلان عن عودة الموقع ومساعدة العميل على الثقة بأن سجل عمله سليم.
المعايير المستقلة تساعد في تأطير الإثبات، لكنها لا تقرر الحقائق
معايير المرونة وإدارة المخاطر العامة مفيدة لأنها تعطي مجالس الإدارة والعملاء مفردات ليست محدودة بلغة ما بعد الحادث لمزود واحد. تؤكد ركيزة الموثوقية في AWS Well-Architected على source: docs.aws.amazon.com على التصميم للفشل والمراقبة والاستعادة وإدارة التغيير. يعطي إطار عمل NIST للأمن السيبراني على source: nist.gov هيكلًا عامًا لتحديد وحماية واكتشاف والاستجابة والتعافي. يضيف NIST SP 800-34 على source: csrc.nist.gov سياقًا لتخطيط الطوارئ، بينما يعطي NIST SP 800-53 على source: csrc.nist.gov مفردات كتالوج تحكم للتوفر والنسخ الاحتياطي وتخطيط الطوارئ والمراجعة وضوابط إدارة التغيير. تعطي معلومات ISO 22301 على source: iso.org مفردات استمرارية الأعمال.
تقدم مصفوفة ضوابط السحابة من Cloud Security Alliance على source: cloudsecurityalliance.org فئات ضوابط سحابية.
هذه المصادر ليست نتائج حول Atlassian. إنها معايير لتقييم ما إذا كان مزود الخدمات السحابية وعملاؤه قد طرحوا الأسئلة الصحيحة. لهذا الحادث، تشمل عائلات التحكم المفيدة إدارة التغيير، والأدوات الإدارية المميزة، والنسخ الاحتياطي للبيانات، واختبار الاستعادة، واتصالات العملاء، ومخاطر الموردين، والاستجابة للحوادث، واستمرارية الأعمال. يجب أن تكون مراجعة مجلس الإدارة قادرة على ربط حقائق أبريل 2022 بعائلات التحكم هذه دون التظاهر بأن الإطار يحتوي على أدلة الحادث نفسه.
هذا الفصل يحمي السجل العام من خطأين شائعين. الخطأ الأول هو معاملة إطار الثقة كدليل على أن الحادث الفعلي كان تحت السيطرة. الخطأ الثاني هو تجاهل المعايير لأن الحادث خاص بمزود. النهج الأفضل هو استخدام المعايير كقائمة مرجعية للأدلة التي يجب أن توجد. إذا قال المزود إن الاستعادة اكتملت، يساعد الإطار في السؤال عن أدلة الاستعادة التي تدعم هذا البيان. إذا قال العميل إن تأثير الأعمال تم احتواؤه، يساعد الإطار في السؤال عن العملية البديلة التي جعلت ذلك صحيحًا.
حدود المصدر مهمة أيضًا لنبرة المقالة. هذا ليس حكمًا بالتعويضات، أو استنتاجًا قانونيًا، أو إعادة بناء تحقيق خاص. إنه تحليل مساءلة يعتمد على المواد العامة. تصريحات Atlassian الخاصة هي الدليل الأساسي لما أبلغ عنه Atlassian علنًا. صفحات الثقة والقانون العامة تشرح التزامات المزود المعلنة ومفرداته. توفر المعايير معايير رقابية. الأخبار أو التعليقات ستكون سياقًا ثانويًا، وليس دليلاً على ضرر خاص بالعميل. الحفاظ على هذه المسارات منفصلة هو جزء من كتابة المخاطر المسؤولة.
ما يمكن أن تبدو عليه أدلة أفضل في المرة القادمة
يجب أن يبدأ ملف الأدلة المسؤول التالي لحادث حذف مستأجر للخدمات السحابية قبل الحادث. يجب أن يعرف الإجراءات الإدارية التدميرية، ويصنف الحذف على مستوى المستأجر كعملية عالية المخاطر، ويتطلب تحققًا مستقلاً لقوائم الهدف، ويفرض حدودًا قصوى صلبة لنصف قطر الانفجار، ويجعل الافتراضات حول التراجع أو الاستعادة صريحة. يجب أن يظهر أن أدوات المزود يمكنها التمييز بين بيانات التطبيق وبيانات المنتج وبيانات الموقع وحاويات المستأجر قبل تشغيل الأمر. إذا كانت الأداة يمكنها محو موقع العميل، يجب أن تحمل الأداة الوزن الإجرائي لخطر الاستمرارية.
أثناء الحادث، يجب أن يتتبع ملف الأدلة تحديد المستأجر المتأثر، وإشعار العميل، ومرحلة قائمة انتظار الاستعادة، ومجموعة النسخ الاحتياطي، ونقطة الاسترداد، وحالة التحقق، والاستثناءات المعروفة، والخطوات التالية الموجهة للعميل، وتاريخ الاتصالات. يجب أن يكون العملاء قادرين على رؤية موقعهم في العملية دون تفسير لغة الحالة العامة. يجب أن تكون قيادة المزود قادرة على رؤية ما إذا كانت اختناقات الاستعادة تقنية أو تشغيلية أو متعلقة بالاتصال أو تعتمد على تحقق العميل. يجب أن يكون المدققون قادرين لاحقًا على إعادة بناء سبب حصول العميل على تقدير معين في يوم معين.
بعد الاستعادة، يجب ألا ينتهي ملف الأدلة باعتذار نهائي. يجب أن يتضمن سجل تغيير الرقابة. أي البرامج النصية التدميرية تم تغييرها أو إيقاف تشغيلها؟ أي بوابات موافقة تمت إضافتها؟ أي فحوصات تحقق تمنع الآن قوائم الهدف الخاطئة؟ أي بروفات استعادة نسخ احتياطي تمت إضافتها؟ أي قواعد اتصال العملاء تغيرت؟ أي مقاييس ستثبت التحسن بمرور الوقت؟ مراجعة ما بعد الحادث التي لا تستطيع الإجابة على هذه الأسئلة قد تكون صادقة بشأن الماضي لكنها لا تزال ضعيفة كسجل وقائي.
بالنسبة للعملاء، الأدلة الأفضل تعني إضافة استمرارية مستأجر الخدمات السحابية إلى تحليل تأثير الأعمال. أي منتجات Atlassian حرجة؟ أي الفرق تفقد الذاكرة التشغيلية إذا كان الموقع معطلاً؟ أي الصادرات أو التقارير يجب الاحتفاظ بها خارج المنصة؟ أي عملية يدوية تبقي الدعم أو تطوير المنتج أو الاستجابة للحوادث أو عمل الامتثال مستمرًا لمدة 24 ساعة أو 72 ساعة أو أسبوع؟ أي مسؤول تنفيذي يقبل المخاطر المتبقية عندما يتحكم المزود في مسار الاستعادة الكامل الوحيد؟ يجب الإجابة على هذه الأسئلة بينما المنصة صحية.
ملف أدلة القارئ
تستخدم المقالة المصادر العامة التالية كملف قراءة لانقطاع Atlassian Cloud 2022، وحذف موقع العميل، وتسلسل الاستعادة، واتصالات الحالة، وسجل مساءلة استمرارية الخدمات السحابية. يتم معالجة كل مصدر بحدود: تصريحات الشركة تثبت ما صرحت به الشركة علنًا، وصفحات الحالة والثقة توفر مفردات تشغيلية، وصفحات العقد توفر لغة تخصيص موجهة للعميل، وصفحات الدعم توفر إرشادات المنتج الحالية، ووثائق المعايير توفر معايير رقابية بدلاً من نتائج بأثر رجعي.
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/blog/atlassian-engineering/april-2022-outage-update
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/blog/atlassian-engineering/post-incident-review-april-2022-outage
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/trust/resilience
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/trust/security/data-management
- مصدر عام يستخدم لملف الأدلة:https://status.atlassian.com/
- مصدر عام يستخدم لملف الأدلة:https://support.atlassian.com/security-and-access-policies/docs/understand-data-residency/
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/legal/atlassian-customer-agreement
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/legal/sla
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/enterprise/cloud
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/trust/security/security-practices
- مصدر عام يستخدم لملف الأدلة:https://www.atlassian.com/trust/compliance
- مصدر عام يستخدم لملف الأدلة:https://csrc.nist.gov/publications/detail/sp/800-34/rev-1/final
- مصدر عام يستخدم لملف الأدلة:https://docs.aws.amazon.com/wellarchitected/latest/reliability-pillar/welcome.html
- مصدر عام يستخدم لملف الأدلة:https://www.nist.gov/cyberframework
- مصدر عام يستخدم لملف الأدلة:https://www.iso.org/standard/75106.html
- مصدر عام يستخدم لملف الأدلة:https://cloudsecurityalliance.org/research/cloud-controls-matrix
- مصدر عام يستخدم لملف الأدلة:https://csrc.nist.gov/pubs/sp/800/53/r5/upd1/final
ملف الأدلة هذا أوسع عمدًا من منشور انقطاع واحد لأن استمرارية مستأجر الخدمات السحابية تؤثر على أكثر من تسلسل الحادث. قد يحتاج نفس العميل إلى حقائق المزود، ولغة العقد، وإرشادات الدعم، وأدلة الحالة، ومفردات التحكم المستقلة. لا تدعي المقالة أن كل مصدر يثبت كل حقيقة تشغيلية. تستخدم المصادر لتحديد ما يمكن معرفته بمسؤولية من السجل العام وما يبقى داخل ملفات أدلة المزود أو العميل.
أسئلة مراجعة مجلس الإدارة
يجب أن تسأل مراجعة مجلس الإدارة ما إذا كانت أدوات الصيانة التدميرية قد تمت حوكمتها كنظام مخاطر إنتاج أو معاملتها كراحة داخلية. يجب أن تحدد الإجابة مالك الأداة، ونموذج الموافقة، وحدود نصف قطر الانفجار، وفحوصات التحقق، والمراقبة، ومسار الإيقاف الطارئ. إذا كانت الأداة يمكن أن تؤثر على حالة مستأجر العميل، يجب أن يكون معيار التحكم أقرب إلى حوكمة إدارة التغيير والاستمرارية من ممارسة البرمجة النصية العادية.
يجب أن تسأل المراجعة أيضًا كيف يعرف المزود أن المستأجر المستعاد مكتمل بما يكفي لاعتماد العميل عليه. يجب أن تسمي هذه الإجابة نقاط الاسترداد، ومجموعات النسخ الاحتياطي، واختبارات التحقق، والفحوصات الخاصة بالمنتج، والاستثناءات المعروفة، وخطوات تأكيد العميل، والمراقبة بعد الاستعادة. البيان العام بأن البيانات تمت استعادتها ليس محددًا بما يكفي لمستأجر يحتوي على ذاكرة تشغيلية.
يجب على العملاء طرح سؤالهم المرآة: أي عمليات الأعمال تعتمد على Atlassian Cloud، وماذا ستفعل المنظمة إذا كان موقعها غير متاح لعدة أيام؟ يجب أن تغطي الإجابة قوائم دعم العملاء، وخرائط طريق المنتج، وسجلات الحوادث، وموافقات التغيير، وصفحات السياسات، ومحفزات التكامل، والصادرات، وملكية القرار. يجب أن تحدد أيضًا الأدلة التي يتوقعها العميل من المزود قبل إغلاق حادث داخلي.
الاختبار النهائي للمساءلة هو ما إذا كان سجل ما بعد الحادث سيسمح لمشترٍ جديد بفهم المخاطر دون الاعتماد على الطمأنينة. يجب أن يظهر السجل ما فشل، ولماذا استغرق استعادة المستأجر المسار الذي استغرقه، وما الضوابط التي تغيرت، وكيف تحسن اتصال العملاء، وما الأدلة التي تثبت الآن أن خطأ صيانة مماثل سيكون محدودًا. أي شيء أقل يترك العميل التالي لاكتشاف نفس التبعية فقط بعد أن تصبح ذاكرة التعاون الخاصة بالعمل مظلمة.

