Кратко

  • Изменение конфигурации может исказить автоматический результат, не вызвав инфраструктурного оповещения.
  • Sepuri предлагает непрерывно проверять поведение в production и возвращать наблюдения в набор тестов.

Зелёная панель подтверждает, что серверы отвечают, задержка невелика, а ошибок мало. Она не подтверждает, что сервис принял правильное решение. На этом разрыве построен доклад Shruthi Sepuri на NANOG 98.

Официальная программа назвала выступление "From Testing to Reliability: Detecting Silent Failures in Production Systems" и отвела ему тридцать минут в Майами 19 октября 2026 года. В аннотации описано, как конфигурация, правила или зависимости меняют поведение автоматизированной системы, пока показатели доступности, ошибок и ресурсов остаются спокойными.

Слайды разбирают сценарий, а не именованный инцидент. Инфраструктура выглядит исправной, механизм правил ошибается, решение получается неверным, проверка пропускается, а в журнале аудита появляется пробел. В открытых материалах не названы затронутый сервис или клиент. Это схема тихого сбоя: технически работающий конвейер способен ошибаться по существу.

Sepuri предлагает измерять путь от входных данных до результата. Среди показателей , доля корректных выходов, полнота проверки конфигурации, сдвиги распределения результатов и исполнение правил на известных случаях. К ним добавляются синтетические запросы через production-логику, сравнение результата после изменения с известным эталоном и возврат наблюдаемого поведения в тестовые сценарии.

Для такой проверки команда должна определить ожидаемое решение. Какие поля обязательны? Какое правило должно сработать? С какой версией конфигурации связан результат? Эти ответы превращают график из красивого наблюдения в доказательство, которое можно разобрать после изменения.

Сдвиг распределения ещё не доказывает дефект. Спрос, трафик или политика могли измениться намеренно. Оповещение становится полезным, когда рядом есть запись об изменении, ожидаемый результат и ответственный, который может объяснить разницу. Синтетическая нагрузка должна проходить настоящую логику и не менять состояние клиента.

Подход Sepuri ставит на первое место фактическое поведение системы. Проверки должны безопасно проходить через production-цепочку и возвращаться с трассируемыми результатами. Иначе зелёная панель продолжит провожать неверное решение в следующие этапы обработки.

Источники: официальная страница NANOG 98 ; официальные слайды ; официальный портрет докладчицы.