Кратко

  • 29 октября IESG утвердил устав группы Benchmarking & Performance Measurements: в её сферу входят контролируемые лабораторные тесты и измерения сетей в реальной эксплуатации.
  • BPM будет определять метрики, методы и требования к отчётам. Порог приёмки и требуемые показатели производительности должны установить заказчик и оператор.

Отчёт об испытаниях выглядит убедительно, пока не открывается последняя страница закупочного дела. Там нужно решить, достаточно ли результата для конкретной сети. Новая рабочая группа IETF Benchmarking & Performance Measurements, BPM, может сделать числовой отчёт понятнее. Она намеренно не пишет ответ в графе «принять». Эту графу должен заполнить покупатель до того, как увидит самую красивую диаграмму поставщика.

IESG утвердил устав 29 октября. В сферу BPM вошли метрики, методики и протоколы для оценки качества, производительности, надёжности и масштабируемости услуг доставки данных и приложений. Устав охватывает маршрутизаторы, межсетевые экраны, фабрики центров обработки данных, контроллеры, виртуализированную и контейнерную инфраструктуру, программы управления сетью и конечные устройства. Речь идёт о плоскостях данных, управления и контроля. Это попытка договориться о том, что именно измерено и как получена цифра, которую затем понесут в инженерный отдел или комитет по закупкам.

У группы два разных предшественника. BMWG разрабатывала лабораторные методики с контролируемой нагрузкой и исключала эталонные испытания действующих сетей. IPPM создавала показатели и методы для IP-сервисов и приложений, включая активные, пассивные и смешанные измерения. Новый устав называет BPM преемницей обеих групп и передаёт ей обслуживание их RFC. При проверке 2 ноября страницы BMWG и IPPM в Datatracker всё ещё показывали статус «Active». Полномочия в новом уставе утверждены; публичные административные карточки прежних групп пока отражают переход неполностью.

Единая группа не делает лабораторию и работающую сеть одинаковыми средами. В лаборатории можно изолировать систему, откалибровать приборы, задать нагрузку и повторить опыт. В живой сети одновременно меняются трафик соседних услуг, маршруты и спрос конечных устройств. BPM хочет создать общий набор терминов, метрик и процедур для обоих видов работы. При этом производственное измерение должно как можно меньше воздействовать на плоскости данных, управления и контроля. Два отчёта с одним названием метрики станут сопоставимыми лишь настолько, насколько известны условия их получения.

Представим закупку, где на одной странице находится результат теста изолированного устройства, а на другой — наблюдение услуги в часы высокой нагрузки. Первый документ характеризует реализацию при заданном воздействии. Второй описывает сервис в выбранный период. Для сравнения нужны конфигурация, состав трафика, топология, окно наблюдения, калибровка и порядок расчёта. Для приёмки нужно ещё одно: указать, какую услугу и при каких условиях заказчик покупает. Метод измерения BPM может стандартизировать. Обязательство по услуге возникает в местном договоре.

Старый устав BMWG прямо отказывался задавать критерии приёмки и требования к производительности: условия развёртывания различаются. BPM сохраняет эту границу при более широкой сфере деятельности. Рекомендации по бенчмаркингу должны описывать существенные характеристики, среду испытания и однозначный отчёт, по возможности без привязки к конкретному производителю. Универсального числа, после которого любое устройство следует покупать, у группы нет. Общая линейка нужна именно для того, чтобы разные участники могли принимать собственные обоснованные решения.

BCP 170, опубликованный как RFC 6390, показывает, почему среднее значение не годится на роль готового вердикта. В документе рассматривается потеря пакетов. Средняя доля потерь может быть полезна, но приложение, которому вредят короткие серии потерь, нуждается в распределении этих серий. Близкие средние могут сопровождать разные последствия для услуги. Руководство требует указывать аудиторию метрики, способ измерения, выборку, топологию, точность и период отчётности. Без этих условий число теряет именно тот смысл, ради которого его собирали.

Измерение действующей сети само занимает ресурсы. Устав BPM требует от новых методов уменьшать вред другим потокам на общем пути и конечным устройствам, которые не ожидали тестового трафика. Оператору нужны ответственный за пробу, предел интенсивности, время запуска и правило остановки. Наличие стандартизированного протокола ещё не даёт разрешения проверять им любой чужой адрес.

В устав входят также модели YANG для настройки и эксплуатации свойств производительности и элементы IPFIX для передачи телеметрии. Автоматический сбор сделает результаты доступнее. Он же ускорит распространение плохо выбранного порога, если организация превратит метрику в сигнал тревоги, рейтинг поставщика или договорный штраф. Перевод измерения в санкцию — отдельное управленческое решение. Его не принимает формат экспорта.

Поэтому серьёзной закупке нужны две связанные части. Метод испытания описывает метрику, прибор, конфигурацию, нагрузку, калибровку, длительность и формат отчёта. Условия приёмки описывают ожидаемую услугу, рабочую нагрузку, допустимый результат, исключения, ответственного и повторное испытание. Вторую часть следует написать до презентации лучшего результата поставщика. Иначе выбранная им цифра незаметно определит, какую проблему якобы собирался решить заказчик.

BPM может прекратить бессмысленный спор о разных секундомерах. Тогда останется настоящий спор: какую услугу получают, какой риск принимают и кто ставит подпись рядом с порогом.

Источники: решение IESG; утверждённый устав BPM; страница BPM; устав BMWG; устав IPPM; BCP 170 / RFC 6390.