• Обновление конфигурации сети Google Cloud нарушило работу растянутых кластеров VMware Engine в Сиднее, Мельбурне и Франкфурте почти на 12 часов
  • Вычислительные ресурсы и хранилище оставались доступными, но из-за сбоев связи между зонами кластера и свидетелем часть виртуальных машин оказалась изолирована

Суть

Обновление конфигурации сети Google Cloud нарушило работу растянутых кластеров VMware Engine в Сиднее, Мельбурне и Франкфурте 14 июля. Сбой продолжался 11 часов 46 минут. Google восстановил сервис, откатив обновление и вернувшись к прежней рабочей конфигурации.

Вычислительные ресурсы и хранилище, судя по всему, оставались доступными, но связь между зонами кластера была нарушена. Затронутые зоны также потеряли контакт с устройством-свидетелем, поэтому кластеры больше не могли безопасно синхронизироваться. Часть виртуальных машин оказалась изолирована и рисковала потерять доступ к данным на запись. Google рекомендовал клиентам обращаться в поддержку перед перемещением затронутых рабочих нагрузок на исправную сторону кластера.

Оценка

Инцидент затронул клиентов, использующих растянутые кластеры для поддержания доступности рабочих нагрузок в разных зонах. Вычислительные ресурсы и хранилище продолжали работать, но отказали сетевые соединения и связь со свидетелем, необходимые для координации кластеров. Растянутые кластеры VMware Engine размещают узлы данных в двух зонах, а свидетель — в третьей. Когда эти компоненты теряют связь, часть виртуальных машин оказывается изолированной и рискует потерять доступ к данным на запись.

Google рекомендовал клиентам обращаться в поддержку перед перемещением затронутых рабочих нагрузок, поскольку состояние другой зоны не всегда было очевидным.

Для читателей BTW этот инцидент показывает, где в управляемом сервисе отказоустойчивости по-прежнему находится операционная ответственность. Клиенты продолжают зависеть от сети Google и сервиса свидетеля для координации кластеров. Поэтому планы восстановления должны учитывать потерю этого канала связи, включая условия, при которых рабочие нагрузки можно безопасно перемещать, и случаи, когда требуется поддержка провайдера.

За чем следить

Стоит следить за итоговым отчётом Google об инциденте и за тем, приведёт ли он к изменениям в процедурах обновления сети или к более понятным рекомендациям по восстановлению растянутых кластеров, потерявших связь со свидетелем.