Основные выводы

  • Zakir Durumeric — доцент кафедры компьютерных наук Стэнфордского университета, соучредитель Censys и один из основных участников экосистемы измерений ZMap
  • ZMap и связанные инструменты превращают ответы систем, доступных из интернета, в структурированные данные о сервисах, доменах и сертификатах, но сами по себе не устанавливают принадлежность и не доказывают уязвимость
  • Censys коммерциализирует непрерывное внешнее измерение для анализа безопасности и поверхности атаки, делая покрытие, атрибуцию, актуальность и процедуры исправления частью продукта
  • Более широкое значение Zakir Durumeric состоит в том, что он сделал системные сбои развёртывания наблюдаемыми, одновременно обнажив этические и институциональные пределы крупномасштабного активного измерения

В 2013 году ZMap изменил временной масштаб измерения интернета

В 2013 году исследовательская группа Мичиганского университета показала, что публичное адресное пространство IPv4 можно обойти на одном порту менее чем за час по гигабитному соединению при подходящих условиях. Это достижение не означало, что интернет был полностью отображён. Оно изменило то, насколько быстро исследователи могли задавать узкий вопрос очень большой совокупности и повторять упражнение достаточно часто, чтобы измерять изменения.

Zakir Durumeric был центральным разработчиком и главным автором первоначальной статьи о ZMap, работая с Эриком Уостровом и в более широкой исследовательской группе, куда входили Дж. Алекс Халдерман и другие соавторы. Сканирование интернета существовало задолго до ZMap, и проект не был делом одного человека. Его вклад состоял в том, чтобы перестроить широкое активное измерение вокруг скорости, воспроизводимости и чёткого разделения между первичным обнаружением и более глубоким анализом протоколов.

Это различие важно, потому что у публичного интернета нет полного, постоянно обновляемого реестра. Организации часто имеют неполное представление даже о собственных системах. Облачные адреса меняются, забытые сервисы остаются в сети, а инфраструктура может пережить команду, которая её создала. Ни один центральный орган не фиксирует каждый публично доступный сервис, сертификат, домен и развёртывание программного обеспечения.

Активное измерение подходит к задаче извне. Система отправляет контролируемый зонд на выбранный адрес или имя и записывает ответ. Повторённый на большой совокупности, метод может показать, насколько широко развёрнут протокол, как быстро устранена уязвимость, сохраняются ли небезопасные настройки по умолчанию или как меняются практики выдачи сертификатов.

Получаемые данные одновременно сильны и ограниченны. Скан показывает, что система предъявила одной точке измерения в течение определённого интервала. Межсетевые экраны, маршрутизация, anycast, балансировщики нагрузки, географическая политика и ограничения частоты могут изменить результат. Адрес может представлять облачную платформу, общий сервис, временную рабочую нагрузку или клиента, скрытого за конечной точкой, контролируемой провайдером.

Поэтому вклад Zakir Durumeric не был заявлением о наличии идеальной копии интернета. Он помог создать метод систематического наблюдения за большими частями его открытой поверхности, оставляя за исследователями и пользователями ответственность за интерпретацию этих наблюдений.

Мичиган дал среду для сканера другого типа

Zakir Durumeric завершил докторскую работу по компьютерным наукам и инженерии в Мичиганском университете. Учреждение создало условия, в которых сетевую безопасность, системную инженерию, криптографию и эмпирические исследования интернета можно было объединить. Такое сочетание было необходимо, потому что сканирование в масштабах интернета зависит не только от быстрого генератора пакетов.

Работоспособная программа измерений требует доступа к сети, методов генерации целей, производительности приёмника, обработки данных, знания протоколов и процедур взаимодействия с организациями, которых касается скан. Исследователи также должны выбрать достаточно узкий вопрос, чтобы оправдать обращение к большой совокупности. Инженерная часть и дизайн исследования неразделимы.

Обычные сканеры, как правило, хранят состояние для каждой цели и попытки соединения. Такой подход уместен, когда администратору нужна подробная информация об определённой сети, но он становится дорогим, когда целевая совокупность содержит миллиарды возможных адресов. Память, тайм-ауты и отслеживание соединений становятся ограничениями раньше, чем исследование достигает масштаба интернета.

ZMap был спроектирован вокруг высокоскоростного зондирования без сохранения состояния. Для базового TCP-опроса он может передавать тщательно сконструированный пакет, не сохраняя обычный объект соединения для каждого адресата. Сканер проверяет возвращающиеся ответы и передаёт результаты в отдельный конвейер обработки.

Такая конструкция переносит, а не устраняет сложность. ZMap должен создавать пакеты, которые можно распознать при возврате ответов, отличать корректные ответы от постороннего трафика и не допускать, чтобы собственная принимающая система стала узким местом. Генерация целей должна распределять трафик по адресному пространству, а не направлять длительный поток на одну сеть.

Псевдослучайный порядок целей помогает распределить операционную нагрузку. Последовательное сканирование могло бы обращаться к каждому адресу в большом префиксе, прежде чем перейти к следующему, создавая концентрированный поток в сторону одной организации. Перестановка распределяет пробы шире и позволяет делить скан между корректно настроенными воркерами, не обращаясь многократно к одним и тем же целям.

Скорость имела значение, потому что долгие сканы создают внутренне противоречивые наборы данных. Если опрос занимает несколько недель, сервисы могут быть созданы, удалены или перенастроены до завершения прогона. Более короткое окно сбора даёт исследователям более согласованный снимок и позволяет повторять измерение после раскрытия информации, изменения политики или кампании по устранению проблем.

Скорость также увеличивает ответственность. Сканер может за короткое время достичь многих сетей, вызвать срабатывание систем безопасности и проявить дефекты хрупкого оборудования. Поэтому ограничения частоты, опознаваемая инфраструктура источника, публичные поясняющие страницы, отслеживаемые адреса для связи и процедуры исключения относятся к самой системе измерения, а не являются необязательными мерами по связям с общественностью.

Сканер был только первым этапом

Ответ на базовый зонд сам по себе редко отвечает на исследовательский вопрос. TCP SYN-ACK может указывать, что порт доступен, но не устанавливает прикладной протокол, версию программного обеспечения, конфигурацию безопасности или идентичность организации, управляющей сервисом. Более широкий вклад Zakir Durumeric отчасти состоит в том, чтобы рассматривать сканирование как поэтапную систему обработки данных, а не как один исполняемый файл.

ZMap эффективно выявляет отвечающие конечные точки. ZGrab, а позднее ZGrab2, выполняют более затратные взаимодействия на прикладном уровне с меньшей совокупностью ответивших систем. Связанные инструменты запрашивают систему доменных имён, обрабатывают криптографический материал и оценивают сертификаты по техническим правилам.

Такое разделение делает широкое измерение более практичным. Этап обнаружения может использовать минимальное взаимодействие, а более глубокие рукопожатия оставляются для систем, релевантных исследованию. Это также улучшает воспроизводимость, поскольку каждый этап может фиксировать свою конфигурацию, версию инструмента и структурированный вывод.

ZGrab2 может взаимодействовать с сервисами, включая HTTP, Transport Layer Security, Secure Shell и почтовые протоколы. Его модули выполняют документированные рукопожатия и записывают машиночитаемые поля, а не полагаются на то, что аналитики будут вручную изучать отдельные баннеры. Затем исследователи могут сравнивать версии протоколов, свойства сертификатов и поведение сервисов в больших совокупностях.

Данные остаются привязанными к предложенному взаимодействию. Сервер может вести себя иначе, когда получает другую версию протокола, доменное имя через Server Name Indication, другое содержимое запроса или учётные данные клиента. Балансировщик нагрузки или шлюз безопасности может отвечать вместо основного приложения. Точное утверждение состоит в том, что конечная точка выдала определённый ответ на определённый зонд.

ZDNS распространяет тот же подход на систему доменных имён. Большие наборы запросов могут выполняться в воспроизводимой среде и возвращаться в виде структурированных записей. Исследователи могут изучать развёртывание записей, авторитетную инфраструктуру, поведение резолверов и зависимости доменов, не превращая универсальный инструмент поиска в недокументированную пакетную систему.

Результаты DNS зависят от времени, выбора резолвера, состояния кэша, географии и сетевой политики. Системы доставки контента часто направляют разных клиентов на разные адреса, а авторитетные серверы могут применять ограничения частоты или индивидуальные ответы. ZDNS упрощает сбор этих наблюдений; он не превращает один ответ в постоянное свойство домена.

Криптографические инструменты, включая ZCrypto и ZLint, добавляют ещё один аналитический слой. Сертификаты и связанные объекты можно разбирать и проверять по определённым техническим профилям. В масштабе исследователи могут выявлять некорректные объекты, слабые ключи, необычные расширения, повторяющиеся ошибки выпуска и изменения в практике удостоверяющих центров.

Находка линтера имеет более узкое значение, чем вердикт о безопасности. Одни проверки касаются соответствия стандартам или совместимости, другие выявляют условия с более прямыми последствиями для безопасности. Правило, контекст сертификата, поведение программного обеспечения и дата — все влияют на интерпретацию.

Вместе инструменты образуют конвейер: обнаружить отвечающую конечную точку, установить протокольный разговор, собрать структурированные данные и проанализировать полученный объект. Каждый этап фильтрует совокупность и вводит допущения. Работа Zakir Durumeric помогла сделать эти допущения достаточно воспроизводимыми для проверки, а не скрытыми внутри одного монолитного скана.

Данные масштаба всей совокупности изменили реагирование на угрозы

Экосистема ZMap стала важной, потому что исследователи использовали её, чтобы связать слабые места протоколов и программного обеспечения с реальным развёртыванием. Уязвимость может быть серьёзной в теории и редкой на практике либо технически простой и присутствовать на миллионах систем. Измерение в масштабах интернета даёт данные об этом различии.

Ранняя работа Zakir Durumeric включала крупномасштабные исследования HTTPS и инфраструктуры открытых ключей. Широкие опросы могли показать, какие версии протоколов остаются в использовании, как выпускаются сертификаты, где повторно используются открытые ключи и дошли ли рекомендованные изменения безопасности до развёрнутых систем. На эти вопросы нельзя надёжно ответить по нескольким выбранным сайтам или заявлениям поставщиков.

Одно из первых исследований изучало криптографические ключи, созданные во время сбоя генератора случайных чисел в Debian OpenSSL, раскрытого в 2008 году. Дефект резко сократил возможное пространство ключей, что позволило исследователям сравнивать открытые ключи, наблюдаемые в интернете, с известными слабыми значениями. Исследование показало, что уязвимые ключи могут оставаться развёрнутыми ещё долго после того, как лежащий в основе дефект программного обеспечения стал публичным.

Урок вышел за пределы конкретного дефекта. Публикация патча или рекомендации не означает устранения проблемы. Ключи, сертификаты и системы могут сохраняться при смене персонала, миграциях и организационных границах. Измерение может проверить, остаётся ли историческая слабость видимой, вместо того чтобы предполагать, что раскрытие информации прекратило риск.

Heartbleed продемонстрировал ценность и трудность быстрого измерения во время активного события безопасности. Уязвимость OpenSSL, раскрытая в апреле 2014 года, при определённых условиях могла позволить атакующему извлекать память из затронутых TLS-сервисов. Исследователи использовали сканирование в масштабах интернета, чтобы оценить подверженность и отслеживать, как совокупность менялась после раскрытия.

Реагирование требовало большего, чем установка патчей. Потенциально скомпрометированные ключи и сертификаты также нуждались в замене, а практики отзыва были неравномерными. Данные о всей совокупности показали разницу между доступностью исправления и завершением устранения проблемы в развёрнутой инфраструктуре.

Проверка уязвимости может быть более навязчивой, чем выявление открытого порта. Зонд может активировать дефектное поведение и в некоторых случаях извлекать данные. Исследователи должны ограничивать то, что они собирают, минимизировать хранение и сопоставлять общественную ценность измерения с нагрузкой на удалённые системы.

Исследование Logjam соединило криптографический анализ с данными о развёртывании параметров Диффи — Хеллмана. Оно изучало слабые конфигурации экспортного уровня и повторное использование общих простых групп, показывая, как дорогостоящие предвычисления против широко распространённого общего параметра могут затронуть множество сервисов, а не одну конечную точку.

DROWN выявил ещё одну форму межсистемной зависимости. Поддержка устаревшего протокола SSLv2 на одном сервисе могла поставить под угрозу современные TLS-соединения при определённых условиях, особенно когда повторно использовался один и тот же ключ RSA. Данные в масштабах интернета помогли выявить связи между сервисами, которые могли управляться разными командами, но использовали общий криптографический материал.

Эти проекты были коллективными исследовательскими усилиями, и Zakir Durumeric не следует приписывать единоличную заслугу за их криптографический или аналитический вклад. Его значение состоит в том, что он помог создать измерительную способность, благодаря которой теоретические слабости протоколов можно было сопоставить с крупномасштабным развёртыванием.

Расследование Mirai распространило этот подход на экосистему злоупотреблений. Ботнет компрометировал подключённые к интернету устройства через широко известные учётные данные по умолчанию и организовывал крупные распределённые атаки типа «отказ в обслуживании». Исследователи сочетали сканирование с анализом вредоносного ПО, сетевой телеметрией и наблюдениями за инфраструктурой атак, чтобы изучить его рост и цели.

Ответы сервисов могли помочь выявить вероятные группы устройств, но атрибуция продуктов оставалась неопределённой. Баннеры могут вводить в заблуждение, устройства могут использовать общие публичные адреса, а производители могут повторно использовать программные компоненты. Исследование показало ценность данных о совокупности, одновременно демонстрируя, почему паттерн ответа нельзя считать бесспорной идентификацией устройства.

Во всех этих случаях измерение изменило разговор о безопасности. Исследователи могли оценивать распространённость, сравнивать устранение проблем во времени и выявлять общие настройки по умолчанию или зависимости. Они не могли исправить затронутые системы, заставить владельцев действовать или гарантировать, что каждый адрес был атрибутирован правильно.

Censys превратил исследовательский инструмент в коммерческий сервис

Измерение в масштабах интернета стало играть иную операционную роль, когда данные стали доступны для непрерывного поиска. Censys возник из исследовательской среды Мичиганского университета и индексировал информацию о хостах, сервисах и сертификатах, чтобы пользователи могли запрашивать результаты, а не обслуживать весь конвейер сбора самостоятельно.

Zakir Durumeric основал Censys вместе с Дэвидом Адрианом. Компания разработала коммерческие продукты в области интернет-разведки, управления поверхностью атаки и расследования угроз. Публичные материалы, связанные с профилем, идентифицируют Zakir Durumeric как основателя и генерального директора наряду с его должностью преподавателя Стэнфорда.

Переход от исследовательской системы к компании изменил то, что нужно было поддерживать. Исследовательский проект может продемонстрировать метод и опубликовать набор данных. Коммерческий сервис должен осуществлять сбор непрерывно, эксплуатировать инфраструктуру хранения и поиска, обновлять модули протоколов, отвечать на вопросы клиентов, защищать чувствительную активность и обеспечивать надёжный доступ.

Censys меняет экономику видимости извне. До того как общие наборы данных об интернете стали широко доступны, организация могла построить собственную систему сканирования или заказывать периодические оценки. Поддержание глобального сбора, парсеров протоколов, исторических индексов и моделей атрибуции требовало специализированных инженеров и значительной инфраструктуры.

Общая платформа распределяет эти расходы между клиентами. Команды безопасности могут искать сертификаты, имена хостов, сервисы и адреса, связанные с их организацией, и сравнивать результаты с внутренними реестрами. Разница может выявить забытые системы, открытые тестовые среды, сторонние сервисы и активы, созданные вне обычных процессов.

Результат остаётся зацепкой, а не автоматически подтверждённой записью об активе. Облачный адрес может принадлежать провайдеру, а приложение — одному из его клиентов. Сертификат может содержать старое название компании. Домен может указывать на поставщика, объект поглощения или управляемый сервис. Организациям нужно сверять наблюдение извне с контрактами, облачными аккаунтами и внутренними записями о принадлежности.

Компания также коммерциализирует исторические данные. Специалистам по расследованию инцидентов часто нужно знать, что было видно до инцидента, смены сертификата или раскрытия информации. Запись о том, когда сервис впервые появился, какой сертификат он предъявлял и как менялось его поведение по протоколу, может помочь восстановить хронологию подверженности.

Исторические данные требуют той же осторожности, что и текущие сканы. Конечная точка может быть пропущена в одном цикле сбора из-за потерь, обслуживания или фильтрации. Изменение поведения парсера может создать видимый тренд. Отсутствие в наборе данных не доказывает, что сервис был недоступен, а присутствие по адресу не доказывает, что та же организация контролирует его сегодня.

Поэтому Censys лучше описывать как непрерывно формируемый внешний слой доказательств, а не как полный реестр интернета. Его ценность зависит от покрытия, частоты сбора, поддержки протоколов, атрибуции, процедур исправления и способности показать пользователям, как был сделан вывод.

Самая трудная проблема начинается после ответа сервиса

Найти отвечающую конечную точку часто проще, чем решить, что она представляет. Адрес — это сетевое расположение, а не стабильная деловая идентичность. Маршрутные записи могут показать автономную систему, анонсирующую префикс, а регистрационные данные — держателя ресурса. Ни то, ни другое не обязательно идентифицирует клиента, приложение или команду, ответственную за сервис.

Имена DNS, сертификаты, веб-контент и баннеры протоколов могут усилить атрибуцию. Они также могут быть общими, устаревшими или сознательно вводящими в заблуждение. Облачные провайдеры владеют диапазонами адресов, используемыми тысячами клиентов, а сети доставки контента принимают соединения от имени организаций, чьи исходные системы находятся в другом месте.

Поэтому атрибуция объединяет несколько сигналов и должна давать уровень уверенности, а не категоричный ответ. Поглощения, дочерние компании, подрядчики и провайдеры управляемых услуг усложняют задачу. Неверно атрибутированный результат может потратить время клиента, направить раскрытие не туда или повредить репутации организации, которая не контролирует систему.

Та же осторожность относится к идентификации программного обеспечения. Баннер может указывать продукт и версию, хотя поставщик перенёс исправление безопасности в старую версию, не меняя отображаемую строку. Обратный прокси может показывать собственное программное обеспечение, а не приложение за ним. Сервис может имитировать другой продукт или быть намеренно настроен как honeypot.

Видимая версия, связанная с уязвимостью, не является доказательством эксплуатируемости. Соответствующая функция может быть отключена, может действовать компенсирующий контроль, или отпечаток может быть неверным. Напротив, общий ответ может скрывать затронутый продукт. Измерение поддерживает приоритизацию; подтверждение требует дополнительных доказательств.

IPv6 усложняет покрытие совокупности. Публичное адресное пространство IPv4 велико, но перечислимо. IPv6 слишком велико, чтобы сканировать адрес за адресом, поэтому исследователи формируют наборы целей-кандидатов из DNS, маршрутных данных, сертификатов, traceroute, пассивных наблюдений и закономерностей распределения адресов.

Эти методы вносят смещение отбора. Системы, отсутствующие в публичных источниках имён или сертификатов, могут остаться невидимыми. Схему адресации одного провайдера может быть проще вывести, чем другого, а ориентированные на приватность или быстро меняющиеся адреса трудно отслеживать. Опрос IPv6 обычно описывает сформированную целевую совокупность, а не всё адресное пространство протокола.

Облачная инфраструктура вносит другую форму нестабильности. Адреса могут переназначаться быстро, рабочие нагрузки могут существовать лишь короткое время, а управляемые сервисы могут отделять видимую конечную точку от организации, предоставляющей приложение. Запись, корректная на момент сбора, может вводить в заблуждение, если она представлена без контекста времени и атрибуции.

Сертификаты дают второй взгляд на инфраструктуру. Публичные журналы могут раскрывать доменные имена, издателей, ключи и сроки действия ещё до того, как сервис станет доступен для сканирования. В сочетании с наблюдениями DNS и хостов они могут выявить связи, которые не показывает ни один источник по отдельности.

Сертификат всё же не доказывает, что каждое перечисленное имя активно или контролируется текущим оператором. Сертификаты могут переживать сервисы, содержать внутренние имена или выпускаться при остановленных работах по развёртыванию. Согласие нескольких источников повышает уверенность, а расхождение часто выявляет ограничение, требующее исследования.

Этот перевод из ответа пакета в организационное утверждение является одновременно коммерческим и аналитическим узким местом. Клиенты платят не только за то, чтобы узнать, что адрес ответил. Им нужно знать, какой актив он может представлять, почему он связан с ними, когда были собраны данные и какое действие оправдывает результат.

Измерение может вскрыть зависимость инфраструктуры

Как только несколько источников данных соединяются, измерение интернета может описывать больше, чем отдельные хосты. Сервис может зависеть от облачной платформы, оператора доменных имён, удостоверяющего центра, сети доставки контента и поставщика идентичности. Концентрация этих зависимостей может иметь значение, даже когда каждый отдельный сервис настроен правильно.

Более широкие исследования Zakir Durumeric изучали, как видимые отношения инфраструктуры можно формализовать и измерить. Записи DNS, сертификаты, маршрутная информация и ответы сервисов могут показать, что большие совокупности полагаются на ограниченное число провайдеров. Сбой или изменение политики у одного из них может затронуть организации, которые выглядят независимыми.

Публичные данные не могут раскрыть все контрактные или операционные договорённости. Запись DNS показывает текущего провайдера, но не план миграции клиента. Издатель сертификата входит в цепочку доверия, но может быть не единственным доступным издателем. Облачный адрес не показывает, может ли рабочая нагрузка отказаться в другое место.

Тем не менее измерение может сделать концентрацию достаточно видимой для изучения. Объектом исследования становится граф сервисов вокруг организации, а не только адрес. Это расширяет активное измерение от исследования уязвимостей в экономику и управление цифровой инфраструктурой.

Та же способность может быть использована неверно, если видимую зависимость представить как постоянный контроль. Организации могут менять поставщиков, поддерживать нераскрытые резервные копии или использовать внутренние системы, которые внешний сканер не видит. Данные о зависимости сильнее всего, когда они фиксируют наблюдаемое отношение, и слабее всего, когда претендуют на знание полной стратегии устойчивости клиента.

Ответственное сканирование — это операционная система, а не дисклеймер

Сканирование в масштабах интернета обращается к системам, операторы которых не запрашивали измерение индивидуально. Даже технически корректный и дешёвый зонд может вызвать сигнал о вторжении, занять время персонала или проявить дефект старого оборудования. Поэтому ответственная эксплуатация требует постоянного процесса, а не заявления о добрых намерениях.

Источники измерения должны быть опознаваемыми. Обратный DNS и публичная информационная страница могут объяснять цель трафика, задействованные протоколы и способ связи с оператором. Канал связи должен отслеживаться, а у организации должны быть полномочия приостановить скан при сообщении о неожиданном эффекте.

Запросы на исключение создают одновременно этическую защиту и методологическое ограничение. Удаление сети из будущих сканов уважает решение оператора, но создаёт слепое пятно. Исключённая совокупность может систематически отличаться от остальных целей, если критические, чувствительные к безопасности или хрупкие сети с большей вероятностью отказываются.

Исследователи должны сохранять версию списка блокировки и объяснять, как исключения влияют на набор данных. Точная совокупность может быть целевым маршрутизируемым адресным пространством, оставшимся после зарезервированных диапазонов, отказов, сбоев и локальных ограничений, а не безоговорочным утверждением обо всём публичном интернете.

Частота — ещё один политический выбор. Источник с достаточной пропускной способностью может передавать быстрее, чем небольшая сеть назначения или хрупкое устройство способны комфортно принимать. Рандомизированный порядок распределяет трафик, но сеть с большим адресным блоком всё равно может получить много проб. Повторные опросы также создают кумулятивную нагрузку.

Содержание зонда важнее ярлыка, прикреплённого к инструменту. Базовое рукопожатие отличается от попытки аутентификации, проверки эксплойта или запроса, извлекающего непредусмотренные данные. ZMap предоставляет каркас для отправки пакетов; исследователь или оператор выбирает взаимодействие и несёт ответственность за его последствия.

Обработка жалоб также улучшает качество измерения. Оператор может объяснить, что ответ пришёл от промежуточного устройства, honeypot-а или общей платформы. Обратная связь может вскрыть ложные допущения в методе сбора. Сканер, который относится к удалённым организациям только как к целям, теряет и легитимность, и полезные данные.

Инфраструктура, выполняющая скан, нуждается в собственной безопасности. Она обрабатывает недоверенные пакетные и прикладные данные, поэтому некорректные ответы могут нацеливаться на парсеры или потреблять ресурсы. Платформам измерения нужны валидация ввода, изоляция, управление зависимостями и реагирование на уязвимости, как любому другому открытому сервису.

Доступ к данным и системам генерации пакетов также требует контроля. Скомпрометированный сканер можно перенаправить на вредоносный трафик, а украденный набор данных может раскрыть отношения инфраструктуры, ценные для атакующих. Сырые наблюдения, списки целей и клиентские запросы нельзя считать безобидными артефактами исследования.

Двойное назначение невозможно устранить из этой области. Одни и те же отпечатки сервисов могут поддерживать инвентаризацию и разведку. Исторические записи могут помогать восстановлению инцидентов и планированию атак. Публикация инструментов снижает барьеры и для законных исследователей, и для злоупотребляющих пользователей.

Ограничение публичных исследовательских инструментов не устранило бы крупномасштабное сканирование со стороны способных атакующих. Более реалистичная модель управления — сохранять прозрачные методы, безопасные настройки по умолчанию, документированное поведение и подотчётность каждого оператора. Zakir Durumeric не контролирует каждую организацию, скачивающую ZMap, так же как разработчик сетевой утилиты не контролирует каждый пакет, созданный с её помощью.

Очистка данных может изменить результат не меньше, чем сам скан

Измерение в масштабах интернета порождает некорректные, дублированные, неполные и противоречивые записи. Исследователи должны решать, как обрабатывать повторные попытки, тайм-ауты, перенаправления, общие сертификаты, ошибки протоколов и баннеры, не соответствующие ожидаемой схеме.

Эти решения меняют описываемую совокупность. Один адрес может размещать сотни доменов. Один сервис может появляться через множество адресов. Приложение за балансировщиком нагрузки может вернуть разные сертификаты в течение одного опроса. Обновление парсера может классифицировать старый ответ иначе, чем программное обеспечение, использованное в более раннем исследовании.

Добросовестный проект фиксирует конвейер обработки данных так же тщательно, как конфигурацию генерации пакетов. Версии инструментов, списки целей, исключения, временные метки, поведение при повторных попытках и поэтапное сокращение помогают другим исследователям понять, как был получен итоговый подсчёт.

Требования к актуальности зависят от цели использования. Исследование распространения протокола может допускать периодические снимки, тогда как реагирование на инциденты и управление поверхностью атаки требуют более свежих наблюдений. Каждая запись должна содержать время сбора и достаточно сведений о происхождении, чтобы отличить живое обнаружение от исторического контекста.

Ложноположительные и ложноотрицательные результаты также имеют разные операционные издержки. Ложная атрибуция может отправить команду безопасности к активу, которым она не владеет. Пропущенный сервис может оставить реальную подверженность необнаруженной. Широкое исследование может сообщать о неопределённости по совокупности, тогда как автоматическое применение мер или высококритичные оповещения клиентов требуют более сильных доказательств.

Поэтому подходящий порог зависит от действия, привязанного к данным. Поисковая платформа может показывать возможные ассоциации для проверки. Она не должна превращать каждый слабый сигнал в окончательный организационный актив лишь потому, что категоричный результат проще отобразить.

Ни одна точка измерения не видит весь интернет

Активное измерение достигает целей через маршруты, фильтрацию и политики, доступные сети сканера. Опрос, проведённый из Северной Америки, может получить иные ответы, чем опрос из Азии, Африки или Ближнего Востока. Геофильтрация, цензура, anycast и региональный хостинг могут изменить наблюдаемый результат.

Адрес, анонсируемый из нескольких мест, может вернуть тот экземпляр, который выбран маршрутизацией пограничного шлюза для источника сканера. Изменение маршрута может изменить ответ, даже если конфигурация приложения не менялась. Маршрутная информация может помочь интерпретировать скан, но записи плоскости управления не раскрывают каждое решение о пересылке.

Распределённые точки наблюдения улучшают перспективу и увеличивают стоимость. Каждый источник нуждается в безопасной эксплуатации, опознаваемых контактных данных и соблюдении законов и политик провайдера в своей юрисдикции. Большее число локаций не создаёт универсальный взгляд; они дают несколько видов, различия между которыми сами могут стать данными.

Именно поэтому «в масштабах интернета» должно описывать широту целей, а не всеведение. Платформа может обращаться к большой доле публичного пространства IPv4 и всё же видеть только ту версию каждого сервиса, которая доступна с выбранных ею путей.

Пассивное измерение даёт полезный контраст. Оно записывает трафик, пересекающий точку наблюдения, и может показать, как реальные пользователи взаимодействуют с протоколами. Оно ограничено связями, доступными исследователю, и может затрагивать гораздо более чувствительные пользовательские данные, чем контролируемый активный зонд.

Два метода отвечают на разные вопросы. Активное сканирование может показать, сколько конечных точек отвечает на заданное взаимодействие. Пассивные данные могут показать, какая доля наблюдаемого трафика использует протокол. Один активно используемый сервис и миллион редко используемых дают очень разные результаты при таких измерениях.

Институциональное разнообразие также имеет значение. Центр прикладного анализа интернет-данных, CAIDA, развивает инфраструктуру топологии, маршрутизации и измерений на отдельной институциональной базе в Калифорнийском университете в Сан-Диего. Экосистема ZMap сосредоточена более непосредственно на сервисах, доступных из интернета, криптографическом развёртывании и открытой инфраструктуре.

Эти проекты могут дополнять друг друга без общего организационного контроля. Независимые инструменты и наборы данных позволяют исследователям выявлять слепые пятна и не допускать, чтобы один сборщик стал неоспоримым источником истины об интернете.

Стэнфорд расширил повестку измерений

Zakir Durumeric — доцент кафедры компьютерных наук Стэнфордского университета, где его работа охватывает безопасность, доверие, безопасность пользователей и измерение интернета. Университет даёт ему новую институциональную базу для студентов, соавторов и долгосрочных исследований, тогда как Censys управляет коммерческим сбором данных и продуктовой средой.

Эти две роли связаны, но различны. От академических исследований ожидается получение обобщаемого знания и способность выдерживать публичную проверку. Компания должна защищать клиентов, поддерживать сервисы, дифференцировать продукты и получать доход. Прозрачность финансирования, аффилиации и доступа к данным важна, когда исследование использует коммерческую инфраструктуру.

Поздние работы Zakir Durumeric выходят за пределы открытых хостов и криптографического развёртывания. Активные измерения могут изучать цензуру, сравнивая поведение протоколов, доменов и сервисов в разных сетях и регионах. Неудачное соединение может быть следствием фильтрации, маршрутизации, перегрузки или политики сервера, поэтому самые сильные исследования используют повторные эксперименты и несколько точек наблюдения.

Тот же эмпирический подход распространился на преследование, дезинформацию и другие вредоносные онлайн-системы. Эти темы касаются людей, платформ и контента, а не только пакетов. Данные могут быть более чувствительными, а автоматические классификации могут затронуть уязвимых людей или политическую речь.

Такая широкая повестка показывает преемственность метода, а не одинаковость предмета. Исследователи формируют набор данных о распределённой системе, проверяют наблюдаемое поведение и заявляют, что данные могут и не могут установить. Этические обязательства возрастают, когда объектами измерения становятся люди и социальная активность, а не публичные ответы протоколов.

Преподавание распространяет способность за пределы одной лаборатории. Студенты, обученные измерениям, уходят в университеты, компании безопасности, государственные учреждения и технологические платформы. Влияние академической группы на инфраструктуру включает произведённые ею инструменты и статьи, но также исследователей, которые переносят эти методы в другие места.

Награды Zakir Durumeric отражают формирование области. Среди признаний — включение в список Innovators Under 35 журнала MIT Technology Review в 2015 году и стипендия Sloan Research Fellowship. Ретроспектива 2024 года о десяти годах ZMap задокументировала его внедрение в академических и промышленных исследованиях.

Награды не подтверждают каждый набор данных или коммерческое утверждение. Их значение в том, что активное измерение в масштабах интернета превратилось из необычного системного эксперимента в признанный компонент исследований безопасности и инфраструктуры.

Открытые инструменты и проприетарные карты теперь сосуществуют

ZMap и многие связанные инструменты являются программным обеспечением с открытым исходным кодом. Исследователи могут изучать их поведение, воспроизводить методы и адаптировать модули, не завися полностью от коммерческого провайдера. Организации с необходимыми возможностями могут проводить собственные измерения.

Открытая доступность не делает сканирование в масштабах интернета дешёвым или простым. Оно требует доступа к сети, вычислений, хранения, инженерии протоколов, операционных контактов и этической проверки. Плохо управляемое развёртывание может причинить вред, даже если лежащий в основе код публичен и технически надёжен.

Поддержка — ещё одна точка концентрации. Протоколы меняются, парсеры нуждаются в исправлениях безопасности, а новые операционные системы влияют на производительность. Юридическая возможность форкнуть проект не создаёт инженеров, необходимых для поддержания достойной альтернативы.

Censys добавляет непрерывную эксплуатацию, поддержку продукта, атрибуцию и интерфейс поиска. Доход от подписки может финансировать инженерию и инфраструктуру, которые короткие исследовательские гранты могут не поддерживать. Клиенты получают удобство и зависят от выбора сбора данных, периодичности обновлений и модели данных провайдера.

Коммерческая эксплуатация также меняет раскрытие информации. Исследовательская группа может публиковать методы и выбранные наборы данных, тогда как у компании есть причины защищать проприетарное обогащение, активность клиентов и логику продукта. Это напряжение не разрешается навешиванием ярлыков «открытое» и «закрытое».

Актуальные вопросы — какие методы сбора остаются проверяемыми, как можно оспорить ошибки и сохраняет ли общественно значимое исследование осмысленный доступ. Коммерческая карта может быть ценной, не будучи принятой как нейтральный публичный авторитет.

Концентрация может стать более крупной проблемой по мере того, как команды безопасности, правительства и исследователи полагаются на небольшое число внешних поставщиков разведданных. Общие данные могут снизить дублирующий трафик сканирования и создать монокультуру измерений. Если один провайдер изменит покрытие или классификацию, многие пользователи могут унаследовать одно и то же слепое пятно.

Плюралистическая система включала бы открытые инструменты, несколько коммерческих и академических сборщиков, прозрачные методы и механизмы сравнения. Независимые наборы данных создают издержки, но они также не позволяют интерпретации одной платформы стать де-факто официальным реестром интернета.

Zakir Durumeric сделал интернет более наблюдаемым, а не более управляемым

Влияние Zakir Durumeric на инфраструктуру можно проследить через несколько связанных этапов. Системные исследования переработали высокоскоростное сканирование; ZMap сделал метод многократно используемым; ZGrab2, ZDNS и криптографические инструменты превратили базовые ответы в структурированные данные; исследования безопасности связали эти данные с системными слабостями; а Censys превратил непрерывное измерение в сервис, используемый защитниками и расследователями.

Стэнфорд расширяет исследовательскую программу на зависимость инфраструктуры, цензуру, злоупотребления и онлайн-безопасность. Каждый этап предполагает разных соавторов и институты, и ни один из них не следует сводить к достижению одного человека.

Zakir Durumeric обладает прямой властью внутри своей исследовательской группы и исполнительной ответственностью в Censys, с учётом ограничений университета, корпорации, совета директоров и правовых норм. Он может влиять на исследовательские вопросы, направление продукта, кадровую политику и работу систем измерения.

Он не владеет хостами, сетями, доменами или сертификатами, которые фиксируют эти системы. Он не может заставить организацию пропатчить сервис, ответить на раскрытие или принять атрибуцию. Он не контролирует каждый скан, выполняемый с помощью ZMap, или каждую интерпретацию, построенную на его выводе.

Его власть методологическая, институциональная и коммерческая. Он помог определить, как наблюдения можно собирать и делать полезными в масштабе. Последствия остаются распределёнными между владельцами систем, сетевыми операторами, облачными провайдерами, исследователями, клиентами и государственными институтами.

Эта граница — центральный факт профиля. Измерение в масштабах интернета может выявлять системные сбои, которые не видит ни один отдельный оператор. Оно не может обеспечить управление, необходимое для их исправления. Видимость может создавать давление, доказательства и подотчётность, но исправление по-прежнему зависит от людей и организаций, обладающих властью над затронутой инфраструктурой.

Почему BTW отслеживает Zakir Durumeric

BTW отслеживает Zakir Durumeric, потому что цифровую инфраструктуру невозможно эффективно защищать и управлять ею, когда её внешне видимая поверхность неизвестна. Его работа помогла превратить широкое сканирование из медленного специализированного упражнения в воспроизводимую измерительную способность, используемую исследователями и коммерческими защитниками.

Та же работа вскрывает пределы власти, основанной на данных. Карта может быть неполной, устаревшей или неверно атрибутированной. Доступный сервис не обязательно уязвим, а адрес — не стабильная организационная идентичность. Платформа измерения может улучшить подотчётность, одновременно создавая новые риски приватности, двойного назначения и концентрации.

Поэтому карьера Zakir Durumeric — это кейс о том, как измерение становится инфраструктурой. Мичиган дал исследовательскую среду, сообщество ZMap создало переиспользуемую техническую базу, Censys добавил непрерывную коммерческую эксплуатацию, а Стэнфорд поддерживает дальнейшие исследования и обучение.

Результат — не центральный реестр интернета. Это мощный внешний слой доказательств, ценность которого зависит от прозрачных методов, актуальных данных, ответственной эксплуатации и институционального плюрализма.

Следующая проверка — не в том, может ли сканирование стать быстрее. Она в том, смогут ли организации, производящие эти карты, сделать значимые выводы прослеживаемыми, исправимыми и сопоставимыми, не позволяя одному частичному взгляду затвердеть в неоспоримую истину.

Основные источники и нерешённые вопросы

Основные источники для этого профиля включают записи Стэнфордского университета, профессиональную и публикационную историю Zakir Durumeric, документацию проекта ZMap, материалы о руководстве и продуктах Censys, а также рецензируемые исследования, использующие экосистему измерений. Вместе эти источники устанавливают его роли, дизайн и влияние ZMap, его участие в Censys и более широкую программу исследований безопасности интернета.

Источники проекта и компании описывают собственные инструменты и операции. Их не следует считать независимым доказательством полного покрытия, точной атрибуции в каждом случае или эффективности каждой коммерческой функции продукта.

Нерешённые вопросы касаются как качества измерений, так и институциональной власти. Внешнее покрытие остаётся трудным в IPv6, у короткоживущих облачных систем, регионально фильтруемых сервисов и сетей, исключающих сканеры. Ошибки атрибуции могут влиять на результаты исследований, рабочие процессы клиентов и публичные утверждения, однако всеобъемлющие показатели ошибок публично не установлены.

Коммерческое развитие поднимает дальнейшие вопросы. Не всегда ясно, какие наборы данных, методы сбора и процедуры исправления останутся публично проверяемыми по мере расширения платных сервисов. Независимые сборщики несут значительные операционные издержки, а опора на один общий набор данных может снизить методологическое разнообразие.

Измеряемым организациям также нужны достоверные способы оспаривать или исправлять неточные записи, не превращая отказ от сканирования в средство сокрытия законных публичных данных. Поисковые платформы должны не допускать, чтобы те же возможности, которые используются для защиты, становились дешёвым источником вредоносной разведки.

Эти напряжения определят, будет ли активное измерение интернета развиваться как плюралистичный публичный слой доказательств или консолидируется в небольшое число проприетарных карт.