Кратко

  • 5x9 Networks сообщает, что один Xeon 6780E со 144 ядрами обслуживал один forwarder и 64 000 абонентов, обеспечивая 200 Mpps с ACL и без иерархического QoS, либо 800 Гбит/с при пакетах 500 байт. 1,6 Тбит/с — результат масштабирования на два CPU.
  • Big VM заменяет шестнадцать Small VM и устраняет многократные копии состояния в кэше. Это объясняет выигрыш, но одновременно укрупняет единицу исполнения, изменения и состояния, если отдельная отказоустойчивость не доказана.
  • В открытом материале нет синхронизации состояния, инъекции отказов, перезапуска, обновления, потерь и восстановления сессий. Полезная ёмкость ограничена проверенным контуром отказа, а не максимальной скоростью тракта.

11 февраля 2026 года Branimir Rajtar, технический директор и сооснователь 5x9 Networks, представил на сессии Network Operations конференции APRICOT в Джакарте доклад Getting 1+ Tbps from an x86 server. Девятнадцать слайдов описывают развитие виртуализированного Broadband Network Gateway: от множества малых forwarder к одной крупной VM с SR-IOV, Intel DPDK и глубокой настройкой CPU, памяти, кэша, PCIe, DMA, BIOS, NIC и программного кода.

BNG завершает сессии PPPoE или IPoE фиксированного доступа, выполняет маршрутизацию уровня 3 и может применять QoS и ACL для каждого абонента, AAA и функции законного перехвата. Поэтому измеряется не только поток пакетов. Сервис хранит состояние, которое должно остаться согласованным после потери процесса, карты или сервера.

Исходная конфигурация 5x9 состояла из двух Xeon Gold второго поколения по 18 ядер и шестнадцати экземпляров forwarder. Поставщик указывает 40 Mpps без и 26 Mpps с иерархическим QoS; при размере пакета 500 байт — 160 и 100 Гбит/с. Разница около 35% относится к этой версии. Она не задаёт универсальную цену QoS, но показывает, что состав функций существенно меняет число, называемое ёмкостью.

Дальнейший рост складывался из нескольких работ. В презентации 30% приписаны более новому оборудованию и приложению, ещё 30% — настройке DPDK, CPU, PCIe, BIOS и NIC, а 20% — профилированию и переписыванию кода. Переносить эти доли на другую систему нельзя. Их смысл — показать цепочку зависимости, скрытую общим названием x86.

Главным узким местом 5x9 называет промахи кэша и ожидание CPU. Множество объектов памяти занимали кэш, изменения вызывали остановки, а процессор читал целые строки кэша. Были разделены структуры чтения и записи, изменены планирование PCIe/DMA и алгоритмы хеширования; поставщик сообщает о сокращении объёма таблицы маршрутизации на 90%.

Это приводит к Big VM. Шестнадцать Small VM держали одну информацию в кэше много раз. Их объединение в VM, использующую целый NUMA-домен и все ядра CPU, превращает копии в общий рабочий набор.

Механизм физически понятен. Лучшая локальность уменьшает обращения к основной памяти, ожидание, повторные таблицы и процессы. Активных серверов может стать меньше. Однако зависимость не исчезает: состояние становится менее дублированным и более сосредоточенным.

Текущий результат получен на Xeon 6780E со 144 ядрами. Официальная спецификация Intel указывает 108 МБ кэша, до 88 линий PCIe 5.0 и TDP 330 Вт в серверном режиме. Она не подтверждает тест BNG, но оставляет память, линии и слоты PCIe, NIC и питание в составе тракта.

По данным 5x9, на одном CPU работали один forwarder и 64 000 абонентов: 200 Mpps с ACL и без hQoS, 800 Гбит/с при 500 байтах и 32 ГБ памяти. 1,6 Тбит/с получаются при использовании двух CPU. Формулировка «один сервер» не должна скрывать второй процессор.

Условия нагрузки не менее важны. После 100 000 абонентов производительность начинает снижаться, хотя поддерживается до 260 000. hQoS для всех пользователей уменьшает её примерно на 30%, NAT для всех — на 30–40%. Это результаты поставщика для конкретной реализации, а не общие законы. Но они не позволяют считать линию 800 Гбит/с полной ёмкостью BNG со всеми функциями.

DPDK и SR-IOV объясняют ускорение. Poll Mode Drivers напрямую обращаются к дескрипторам приёма и передачи и опрашивают очереди без обычных прерываний. SR-IOV позволяет физической PCIe-функции предоставлять Virtual Functions. Эти технологии меняют путь данных, но не определяют, где копируется состояние, что происходит после завершения forwarder и как другой сервер принимает сессии после потери VF или NIC.

CUPS тоже разделяет роли, а не гарантирует результат. Контрольная плоскость может оставаться исправной, когда Big VM, CPU, PCIe-тракт, NIC или сервер пользовательской плоскости потерян. Само разделение не доказывает непрерывность трафика.

В открытом наборе нет схемы резервирования, метода синхронизации или запаса N+1. Не показаны остановка forwarder, потеря VF, NIC, CPU или сервера; время перезапуска; обновление и откат; число потерянных и восстановленных сессий; смешанные размеры пакетов и одновременная полная функциональность; приёмка у производственного заказчика.

Отсутствие данных не доказывает отсутствия механизмов у 5x9. Оно не доказывает и отказ Big VM. Вывод уже: опубликован путь производительности, но не поведение укрупнённого состояния при отказе или изменении.

Small VM платит за повторный кэш, зато один процесс может соответствовать меньшей группе. Big VM эффективнее использует рабочий набор и включает больше сессий в общую программную, процессорную и эксплуатационную единицу. Несколько Big VM, независимые серверы или репликация способны ограничить последствия. Этот слой в докладе не измерен.

Полномочия распределены. 5x9 контролирует код, измерения, конфигурацию теста и формулировку результата. Intel и производители NIC — кремний, прошивку и совместимость. Оператор доступа выбирает топологию, запас, функции, окно изменений и критерий восстановления для клиентов. APRICOT публикует доклад, но не сертифицирует услугу.

Оператор оплачивает современные CPU, поддерживаемые карты, достаточный PCIe, лицензии, инженерную работу, повторные тесты и простаивающий резерв. Меньшее число активных серверов может экономить место и эксплуатационные расходы. В презентации нет измерения энергопотребления или полной стоимости. Резерв, способный принять то же состояние и функции, остаётся в экономике даже в ожидании.

Абонент несёт обратную сторону концентрации. Ограниченное по времени согласованное восстановление может дать более дешёвый и гибкий доступ. Без него одно событие может объединить последствия для большего числа сессий. Реальный инцидент здесь не утверждается; задаётся проверка, разделяющая два исхода.

Достоверная альтернатива сохраняет Big VM, но использует два и более forwarder на разных серверах, N+1 и синхронизацию состояния. Приёмка объявляет размеры пакетов, IPv4/IPv6, ACL, hQoS, NAT, AAA, контрольные транзакции и активные сессии. Затем останавливает процесс, теряет VF, NIC, CPU или сервер, выполняет обновление и откат и фиксирует сброшенные сессии, время восстановления и устойчивый поток на резерве.

На небольшом периферийном узле Small VM может быть разумнее, если меньшая область отказа стоит кэш-расхода; 5x9 сама оставляет такой вариант. ASIC или white box сравнимы только при одинаковом составе сервиса и одинаковом испытании отказа.

ASN, префиксы и BGP не закрывают эту приёмку. Они подтверждают ресурс и внешнюю маршрутизацию. Они не удостоверяют PPPoE/IPoE-состояние, QoS или NAT внутри шлюза. RIR и конференция не получают полномочие принять внутреннюю ёмкость потому, что регистрируют или публикуют маршрут.

Инженерная ценность доклада — в поиске и перемещении ограничений в строках кэша, объектах памяти, NUMA, PCIe, NIC и коде. Следующая граница столь же материальна: один forwarder, его состояние и несущий их сервер.

Полезная ёмкость ограничена не маршрутом, а проверенным контуром отказа. 800 Гбит/с на одном CPU и 1,6 Тбит/с на двух полезны в заявленных условиях. Доступной ёмкостью BNG они становятся после того, как та же архитектура проходит отказ и изменение, обещанные оператором абонентам.

Источники