الخلاصة

  • استمر حادثا Cloud Storage في 8 و9 أكتوبر 18 ساعة و11 دقيقة إجمالًا، وتركزا في us-central1 ثم us-central1-b؛ وتمحورت الأعراض المنشورة حول الكتابة.
  • عزت Google الحادث الأول إلى تحسين تجاوز منطق التوجيه المراعي للسعة، وعزت التكرار إلى تراجع غير مكتمل؛ ولم تسمِّ عملاء متضررين أو تحدد خسائر رقمية.

غالبًا ما يُختزل عطل التخزين السحابي في سؤال: أين توجد النسخ؟ لكن تقرير Google يطرح سؤالًا آخر: ما المسار الذي يسلكه طلب الكتابة قبل أن يصبح كائنًا مخزنًا؟ في 8 أكتوبر، واجه مستخدمو Cloud Storage في us-central1 زمن كتابة أعلى وأخطاء أكثر لمدة 12 ساعة و30 دقيقة. وعادت المشكلة في اليوم التالي داخل المنطقة الفرعية us-central1-b لمدة 5 ساعات و41 دقيقة. ويبلغ الإجمالي الذي أوردته Google 18 ساعة و11 دقيقة، لكنه يتكون من حادثين يفصل بينهما تعافٍ، لا من توقف واحد متواصل طوال 18 ساعة.

الأعراض المعلنة محددة. تقول Google إن العملاء رأوا أساسًا استجابات HTTP 503 UNAVAILABLE لعمليات WriteObject وانتهاء مهلة الطلب لدى العميل؛ كما ارتفع زمن عمليات الكتابة التي نجحت. ويذكر التقرير النهائي أن مناطق Cloud Storage الأخرى وخدمات Google Cloud الأخرى لم تتأثر بهذا الحدث بعينه. أما التقرير الأولي الأسبق فأشار إلى تأثير طفيف على عمليات القراءة، من دون أن يحدد ملخص الأثر النهائي حجمه. لذلك لا يثبت السجل سوى مشكلة محدودة في مسار الكتابة داخل منطقة واحدة، ثم داخل نطاق منطقة فرعية واحدة عند التكرار. ولا يثبت تأثر جميع العملاء أو فشل كل الكتابات أو فقدان كائنات مخزنة.

تضع Google بداية الحادث الأول عند تحديث إعداد لتحسين فرز الحركة، كان هدفه معالجة قيود سعة محلية. لكن التحسين تجاوز آلية التوجيه المعتادة التي تراعي السعة. وهكذا استقبلت نسبة صغيرة من عُقد التخزين الخلفية ذات القدرة المحدودة حصة غير متناسبة من طلبات الكتابة. استُنزفت موارد تلك العُقد، وبدأت خدمات إدخال الكائنات تتجاوز المهلة، فأصبحت الطلبات الموجهة إليها بطيئة أو غير مكتملة. وخلال جزء من الفترة نفسها، أسهمت مشكلة منفصلة في قاعدة البيانات في أخطاء إضافية لمعالجة البيانات الوصفية. إنها سلسلة سببية متعددة الطبقات: قرار توزيع غيّر مسار الطلبات وركّز الحمل، بالتزامن مع خلل مستقل في البيانات الوصفية.

أما عودة المشكلة في اليوم التالي فهي أكثر ما يستحق انتباه فرق التشغيل. تنسبها Google إلى تراجع غير مكتمل عن ميزة تخطيط التحميل، ما أفسد موازنة الحمل وأرهق عُقدًا خلفية أصغر. أي إن إجراءات المعالجة الأولى لم تُعد حالة الأمان السابقة بالكامل. لا يعني ذلك أن كل تراجع غير موثوق، ولا يثبت وقوع عطل أوسع في المنطقة. لكنه يوضح أن إغلاق الحادث واستعادة الإعدادات حكمان مختلفان: قد تبدو الخدمة متعافية، بينما يبقي تغيير متبقٍ المسار نفسه مفتوحًا.

ويكشف وصف الاستعادة قيدًا عمليًا آخر. حاول المهندسون أولًا إضافة سعة طارئة، لكن Google تقول إن حدود السعة الإقليمية حالت دون ذلك. ثم أُخرجت الحركة من العُقد الأشد ازدحامًا، وعُطّل التحسين أو أُعيد، كما أُلغي تحديث منفصل لقاعدة البيانات وأُعيد توجيه الحركة. وبعد استقرار الطلب واستخدام الموارد، أُعيدت العُقد التي عُزلت إلى الخدمة. السعة الإضافية ليست دائمًا مخرجًا للطوارئ؛ وقد تكون ضوابط التوجيه وعزل الحركة ودقة التراجع هي الوسائل المتاحة عندما يتعذر توسيع المنطقة فورًا.

تساعد وثائق Cloud Storage المنشورة على وضع الحادث في سياقه من دون استنتاج ما لا تقوله. تذكر Google أن الحاويات الإقليمية تحفظ البيانات بتكرار داخل منطقتها المختارة، في منطقتين متاحتين على الأقل. أما الحاويات ثنائية المناطق ومتعددة المناطق فتنسخ البيانات بين المناطق بصورة غير متزامنة بعد تخزين الكتابة الأولى في منطقة واحدة عبر منطقتين متاحتين. وتصف Google تقديم الخدمة تلقائيًا من منطقة أخرى عند تعطل منطقة كاملة لهذه الترتيبات الأوسع، مع التنبيه إلى أن النسخ غير متزامن. كما تقول وثائق الاتساق إن الكائن يصبح قابلًا للقراءة فور نجاح الكتابة. لكنها لا تكشف أي أنواع الحاويات استخدمها العملاء المتأثرون.

وهذا الحد الفاصل أساسي. لا يقول التقرير إن التكرار متعدد المناطق فشل أو إن بيانات فُقدت أو إن النسخ الجغرافية تعذر الوصول إليها. ما يوثقه هو عنق زجاجة في المسار الذي يقبل الكتابات الجديدة. قد تخفف التكرارية الجغرافية التعرض لعطل مرتبط بمكان واحد، لكن التصميم يحتاج أيضًا إلى معالجة ضوابط البرامج والسعة المشتركة في خدمة الكتابة. فالمرونة ليست خاصية واحدة: دوام النسخ، وقبول الكتابة، ومعالجة البيانات الوصفية، والقراءة، واستعادة التطبيق تعتمد على مكونات مختلفة.

تتبع إجراءات الوقاية التي أعلنتها Google هذه السلسلة. تقول الشركة إنها ستتحقق من تغييرات موازنة الحمل في مناطق أصغر قبل نشرها في مناطق كبيرة وشديدة الاستخدام؛ وستعزز قيود السعة بحيث لا تتجاوزها آلية توزيع الحركة؛ وستحسن نقل البيانات داخليًا في خلايا التخزين عالية الاستخدام. هذه إجراءات مستقبلية بحسب Google، وليست ضوابط تحقق طرف مستقل من اكتمالها. ولا يتضمن السجل العام نتائج اختبارات أو عدد الطلبات المتأثرة أو أسماء العملاء أو توزيع مواقع الحاويات أو خسائر مقاسة. والخلاصة الممكنة أضيق وأكثر فائدة: تحسين في التوجيه وتراجع غير مكتمل عطّلا مرتين حماية سعة محلية، بينما بقي أثر التكرار الجغرافي سؤالًا منفصلًا.

المصادر: تقرير Google النهائي، توافر Cloud Storage ومتانته، مواقع الحاويات، الاتساق, استراتيجية إعادة المحاولة.