Кратко

  • Методика RFC 9411 не предназначена для систем, опирающихся на машинное обучение или поведенческий анализ. Это граница испытания, а не совет отключать такие функции в рабочей сети.
  • Показатели защиты и производительности можно связывать лишь с учетом испытанных конфигураций. Одинаковое название продукта в двух отчетах само по себе не подтверждает совместимость полученных результатов.
  • Обоснованное исключение функции может быть допустимым для одного сценария и существенным для другого. Раскрытие исключения не заменяет решения о том, достаточно ли оставшихся доказательств для покупки или изменения системы.

Что именно отсутствовало в испытании

У современного средства сетевой защиты может быть несколько способов обнаружения угроз. Пользователь вправе рассчитывать на их совместную работу. Но отчет о производительности не обязательно охватывает всю совокупность возможностей, перечисленных в описании продукта.

Особенно важно различать эти два предмета, когда сама методика сужает область испытания. RFC 9411 прямо указывает, что описанный подход к оценке производительности не предназначен для систем, полагающихся на машинное обучение или поведенческий анализ. При наличии таких функций документ предлагает отключать их для применения этого метода.

Из этого не следует, что их следует отключать в эксплуатации. Не следует и то, что эти технологии хуже других. Ограничение говорит о том, какую задачу решает метод измерения, а не о выборе всей архитектуры защиты для конкретной организации.

Представим, что компания собирается использовать функцию поведенческого анализа, а ее планирование мощности опирается на отчет о конфигурации, где эта функция не работала. Это гипотетический пример, не установленный случай закупки. Отчет может быть точным и полезным. Вопрос в том, подтверждает ли он уже тот объем работы, который компания намерена поручить системе.

Полезный результат не обязан описывать весь продукт

RFC 9411 опубликован в марте 2023 года как информационный документ IETF и заменяет RFC 3511. Он посвящен оценке производительности устройств сетевой безопасности, не относится к серии спецификаций Internet Standards Track и не является сертификатом отдельного продукта.

Его ограниченный охват не делает измерение бесполезным. Напротив, ясно очерченная задача помогает понять, что наблюдал испытатель. Ошибка возникает, если при дальнейшем использовании результату приписывают более широкий предмет, чем тот, который был проверен.

Название модели здесь недостаточно. Одна и та же модель с разным набором функций может выполнять разную работу. Даже физически то же устройство после изменения конфигурации не обязательно соответствует предмету прежнего сравнения.

Нельзя и автоматически заключить, что включение отсутствовавшей функции обязательно уменьшит производительность на определенную величину. Последствия зависят от функции, реализации, трафика и среды. Разница между конфигурациями указывает на вопрос, который требует ответа, но сама по себе не дает нового численного результата.

Поэтому аккуратное прочтение отчета допускает промежуточный вывод: измерение действительно для описанных условий, а его достаточность для намеченной конфигурации еще предстоит обосновать. Это не обвинение поставщика и не отрицание результата.

Конфигурация связывает измерения

Раздел 4.2 требует сохранять одну конфигурацию устройства или системы на протяжении испытаний производительности из раздела 7. Выбранные защитные функции должны оставаться последовательно включенными. Речь идет об активной проверке трафика устройством в тракте передачи, с функциями и настройками, соответствующими реальному или типичному развертыванию.

Такое постоянство позволяет сравнивать наблюдения о понятном объеме работы. Если между испытаниями менять задачу, общее название оборудования уже не обеспечит общего смысла показателей.

Описание конфигурации и включенных функций должно сопровождать результаты. Формулировка «защита включена» может оказаться слишком общей: она не обязательно объясняет, какие проверки выполнялись и какие возможности отсутствовали.

Среди условий методики — отключение режима пропуска трафика без проверки при отказе, а также включение журналирования и отчетности. Документ учитывает некоторые особенности конструкции, в том числе различия в детализации журналов. Такие условия помогают установить, что именно делала испытуемая система.

Это требования к интерпретируемому испытанию, а не универсальная инструкция для рабочей сети. Организация может выбирать эксплуатационные параметры по своим основаниям. Однако этот выбор не должен незаметно менять смысл уже полученного доказательства.

Когда защита и скорость относятся к одному состоянию

Главный предмет RFC 9411 — производительность. В разделе 4.2.1 рекомендуется предварительная оценка эффективности защитных функций, позволяющая проверить их конфигурацию. Если ее не проводят, последствия такого решения должны быть объяснены. Следовательно, ссылка на RFC не доказывает, что каждый отчет включает эту оценку.

В приложении A связь задана подробнее. Для проверки эффективности используются те же испытательная среда и конфигурация устройства, что и для оценки производительности. Условия, относящиеся к диапазонам адресов клиентов и серверов и к контексту шифрования, также помогают сохранить сопоставимость.

Это важно при объединении документов. Один отчет может показывать блокирование определенных атак в одном состоянии, а другой — скорость обработки в другом. Каждый может содержать корректные наблюдения. Но вместе они еще не обязательно подтверждают, что требуемая защита работала с заявленной производительностью в общей подходящей конфигурации.

Разница между двумя формулировками невелика на слух и существенна по смыслу. «Продукт проверяли на защиту и на скорость» — не то же самое, что «проверили эту защиту при этой скорости». Во второй фразе появляется связь, которую необходимо обосновать.

Если в планируемую систему включают функции, не участвовавшие в одном из испытаний, эта связь становится отдельным предметом решения. Иногда достаточно пояснения, иногда следует сузить утверждение, а иногда требуется дополнительная оценка. Само количество приложенных отчетов вопрос не решает.

Не всякое исключение означает нарушение

Методика различает рекомендуемые и необязательные функции. Она не требует без разбора активировать все возможности любого продукта. Для определенного сценария рекомендуемая функция может быть не нужна.

Если такую функцию не включают, в отчете необходимо объяснить причину и указать, что исключение может влиять на производительность. Прозрачно описанное ограничение может быть вполне разумным. Считать его само по себе доказательством манипуляции было бы неправильно.

Но прозрачность не делает разные сценарии одинаковыми. Покупатель, которому функция не нужна, и покупатель, намеренный ее использовать, задают одному числу разные вопросы. Для первого испытанная конфигурация может быть близка к предполагаемой, для второго — нет.

Испытатель отвечает за описание того, что было проверено. Пользователь отчета отвечает за решение, достаточно ли этого для его цели. Первая задача может быть выполнена безупречно, а вторая оставаться открытой.

Ограничение особенно легко потерять, когда результат переходит из полного отчета в сравнительную таблицу. Причина исключения остается в приложении, а показатель начинает выглядеть свойством модели в целом. Для такого расширения вывода не требуется ни ложного числа, ни заведомого обмана.

Эффективность не сводится к числу блокировок

Приложение A рассматривает заблокированные и незаблокированные уязвимости, влияние на фоновый трафик и точность отчетов устройства. Проверка фонового трафика включает критерий отсутствия ложноположительного срабатывания.

У этих наблюдений разные роли. Блокирование показывает действие в отношении испытанного случая. Отчетность — насколько корректно система описывает произошедшее. Воздействие на фоновый трафик позволяет не потерять из виду другую работу, которая выполняется во время проверки защиты.

Такая совокупность содержательнее одной доли отраженных атак. Однако и она ограничена условиями испытания. Отсутствие ложноположительных результатов в определенной проверке не гарантирует их отсутствия при любом будущем трафике. Набор испытанных уязвимостей не равен всем угрозам.

В этой статье не проводились атаки, измерения или сравнения продуктов. Документальная методика используется для анализа границ доказательства, а не для присвоения какому-либо устройству уровня защиты.

Среда тоже может ограничивать скорость

Даже подробного списка функций недостаточно, если результат нельзя правильно отнести к устройству. Разделы 4.1 и 5 рассматривают пригодность испытательной среды и обязательную предварительную проверку относительно эталонного состояния.

Смысл в том, чтобы недостаточная мощность генератора трафика или ограничения среды не выглядели пределом возможностей защитного устройства. Важны запас производительности средств генерации, потери и задержки без испытуемого устройства, устойчивость условий и, в виртуальной среде, ресурсов выполнения.

Проверка без устройства либо с упрощенной пересылкой служит контролем среды. Ее скорость не становится показателем системы с действующими защитными проверками. Близкое расположение чисел в отчете не делает их взаимозаменяемыми.

Этот аспект важен и после закупки. Программное устройство можно перенести в другую виртуальную среду, сохранив настройки приложения. Тогда часть условий изменится, хотя название продукта и файл конфигурации останутся прежними. Это повод оценить применимость старого результата, а не автоматически объявить его ошибочным.

Что добавляют нагрузка и длительность

Документ описывает характеристики нагрузки и этапы опыта. Раздел 4.3.4 разделяет инициализацию, наращивание нагрузки, ее удержание, снижение и сбор результатов. Измерения проводятся в фазе удержания. Рекомендуемая минимальная длительность этой фазы составляет 300 секунд, а интервал снятия исходных отсчетов должен быть меньше двух секунд.

Эти параметры задают способ наблюдения. Они не являются обещанием доступности сервиса или гарантией поведения рабочей сети. Соблюдение длительности не устраняет различий в составе трафика, наборе функций и ресурсах.

Раздел 6 требует отдельно документировать показатели и сопровождающие условия. Производительность по проверенному и разрешенному трафику не равна скорости пересылки без сопоставимой проверки. Для осмысленного сравнения важно также, к какому уровню протокола относится измерение.

RFC 6815 объясняет необходимость изолированной лабораторной среды и недопустимость переноса таких методик на совместно используемые производственные ресурсы. Неразрешенный вопрос закупки не дает основания воспроизводить испытательную нагрузку или атаки в действующей сети.

Не защита стороны, а граница вывода

Институциональная перспектива этой статьи опирается на эссе Lu Heng о проблеме принципала и агента в управлении Интернетом: кто принимает решение и кто несет последствия? Эссе не служит доказательством нарушения со стороны поставщика или лаборатории.

Текст о предназначении BTW.Media задает второй редакционный ориентир — описание реальности, а не заранее выбранная защита позиции. Здесь это означает одновременно сохранять ценность ограниченного измерения и не расширять его смысл без основания.

Отключенная функция не обязательно портит испытание. Но она помогает понять, что именно испытано. Покупателю нужен не спор о том, хорош ли отчет вообще, а ясность: какую часть будущей работы системы он уже объясняет и какую пока не объясняет.