Кратко

  • 19 июля 2024 года CrowdStrike разослала обновление контента Falcon для Windows-хостов; остановлено оно было только около 05:27 UTC, когда миллионы машин уже лежали.
  • Спор идёт не о причине, а об отнесении убытка: предел ответственности в клиентских условиях CrowdStrike привязан к двенадцати месяцам вознаграждения, и заявленное требование Delta Air Lines на сумму свыше 500 млн долларов — это иск, предъявленный к такому пределу, а не сумма, которую этот предел породил.

Ошибка была не в ядре сенсора. Она была на уровень выше — в проверяющем компоненте, который должен взвешивать каждую загрузку контента Rapid Response, прежде чем та попадёт на рабочий компьютер. При обработке обновления для Channel File 291 этот проверяющий вышел за пределы выделенной ему памяти, прочитал по адресу, который ему не принадлежал, и компьютер упал. Такова последовательность, которую CrowdStrike описывает в техническом разборе инцидента от 19 июля; изложение опирается на эту корпоративную публикацию, полный текст которой в ходе работы не был прочитан строка за строкой.

Анализ первопричины Channel File 291 задаёт временные рамки: выпуск около 04:09 UTC, остановка или отзыв около 05:27 UTC. Семьдесят восемь минут. Это звучит как быстрая реакция, и по скорости распространения обновления контента так оно и есть. Только отзыв ничего не даёт машине, которая уже стоит в синем экране. Откат не даёт упасть следующим. Он не поднимает ни одну из тех, что уже упали.

Именно здесь проходит операционная линия разлома того дня. Восстановление было ручным и поштучным: нужно было физически подойти к машине, войти в безопасный режим, удалить сбойный файл, перезагрузиться. В дата-центре с тысячами серверов это не одно движение руки, а работа в несколько смен на протяжении дней. В больнице, в аэропортовой службе или в филиале без ИТ-специалиста на месте это просто остановка. Microsoft в публикации о поддержке клиентов назвала около 8,5 млн затронутых Windows-устройств и оценила это как менее одного процента всех Windows-компьютеров. Эта цифра считает устройства. Она не считает компании, отменённые рейсы, потерянную выручку и возместимый ущерб.

Поэтому вопрос о хозяйственном объёме инцидента без договора не имеет ответа. Ущерб возник прежде всего у клиента — такова последовательность, в которой сбой становится материальным. Уже потом соглашение решает, кто его несёт.

Между оператором, который пережил остановку, и производителем, подписавшим обновление, лежит документ, заранее распределяющий это бремя.

CrowdStrike в своих клиентских условиях описывает совокупный предел ответственности, измеряемый вознаграждением, которое было уплачено или подлежит уплате по соответствующему Order Form — причём за двенадцать месяцев, непосредственно предшествовавших событию, породившему требование. Это описание пункта в том виде, в каком его представляет сайт, а не дословное прочтение текста: точная формулировка, номер раздела и исключения в ходе этой работы в оригинале не проверялись. Механизм при этом достаточно ясен, чтобы его оценить. Предел измеряется не масштабом сбоя. Он измеряется историей закупок клиента.

Рядом с этим пределом стоит отдельное исключение для косвенных и прочих убытков. Оба инструмента действуют вместе, и один только предел не отвечает на вопрос, что истец реально получит.

Потолок обрезает сумму; исключение выводит целые категории убытка из расчёта ещё до того, как что-либо будет обрезано. Кто читает только предел, читает половину пункта. Кто читает только исключение, упускает, что и внутри оставшейся рамки действует граница.

На другой стороне этого уравнения стоит иск. 8 августа 2024 года Delta Air Lines подала в Джорджии иск против CrowdStrike, включающий и нарушения договора, и, по сообщению Reuters об иске, потребовала более 500 млн долларов. Эта сумма — требование, а не решение суда. Она не доказывает, что договорный предел был выплачен, применён или хотя бы обсуждался. Она показывает расстояние между тем, что требует крупный клиент, и тем, что предусматривает договор, подписанный этим же клиентом.

Это расстояние и есть суть дела. Одна компания купила программное обеспечение; другая вписала в свои условия границу, измеряемую тем, сколько клиент заплатил за него за двенадцать месяцев. Разрыв между двумя суммами — не щедрость и не жестокость. Это результат договорной архитектуры, спроектированной за годы до инцидента и теперь проверяемой в суде на прочность.

Публичной страницы условий для окончательного вывода недостаточно. Какая редакция клиентских условий применяется, какой Order Form, какая согласованная поправка, какое исключение по убыткам и какое договорное изъятие регулировало отношения с Delta Air Lines — всё это по одной странице в интернете установить нельзя. Решение висит на исполненном соглашении, которого в ходе этой работы в руках не было.

Одновременно CrowdStrike объявила корректирующие меры: более строгую проверку и тестирование контента Rapid Response, поэтапную доставку, улучшенные мониторинг и оповещение, а также более безопасную обработку сбойного контента сенсором. В отдельной публикации о модернизации тестирования обновлений Rapid Response компания описывает дополнительные слои проверки и поэтапный выкат, который должен перехватывать проблемные обновления прежде, чем они дойдут до широкой клиентской базы. Это описание замысла и конструкции, а не доказанной результативности: независимой проверки новых механизмов контроля в ходе этой работы найти не удалось.

Инцидент к тому же не ограничился одним клиентом. Он потянул за собой иски авиакомпаний и корпоративных клиентов, требующих возмещения за нарушенную работу, о чём сообщал Reuters. В каждом таком деле один и тот же вопрос повторяется в разной форме: какой предел, какое исключение, какая редакция документа.

Так 19 июля 2024 года стало для CrowdStrike не столько финансовым событием, сколько договорным. Техническая ошибка признана и задокументирована. Распределение ущерба открыто. А предел, привязанный к вознаграждению, не снимает ответственность, он её переопределяет: вместо «Сколько стоил сбой?» вопрос звучит «Какова была подписка за двенадцать месяцев до него?». Ответ на него лежит в деле, а не в пресс-релизе. Кто хочет следить за делом дальше, найдёт запись компании в каталоге btw.media; решающим документом остаётся исполненное соглашение.