执行摘要

  • Zakir Durumeric 是斯坦福大学计算机科学助理教授、Censys 联合创始人,也是 ZMap 测量生态系统的主要贡献者
  • ZMap 及相关工具将互联网面向系统的响应转化为关于服务、域和证书的结构化证据,但这些工具本身并不能确立所有权或漏洞存在
  • Censys 将持续的对外测量商业化,用于安全和攻击面分析,将覆盖范围、归因、时效性和修正过程纳入产品
  • Durumeric 更广泛的意义在于使系统性的部署失效变得可观测,同时暴露了大规模主动测量的伦理与制度局限

2013 年,ZMap 改变了互联网测量的时间尺度

2013 年,密歇根大学的一个研究团队证明,在合适的条件下,可通过千兆连接在不到一小时内完成对整个公共 IPv4 地址空间的单端口探测。这一成就并不意味着互联网已被完整测绘,而是改变了研究人员向庞大总体提出精确问题并频繁重复测量以捕捉变化的速度。

Zakir Durumeric 是原始 ZMap 论文的核心设计者和第一署名作者,与 Eric Wustrow 合作,并隶属于包括 J. Alex Halderman 等合作者在内的更大研究团队。互联网扫描远在 ZMap 之前就已存在,该项目也并非一人之功。其贡献在于围绕速度、可复现性,以及初始发现与深层协议分析清晰分离的原则,重新设计了广域主动测量。

这一区分至关重要,因为公共互联网没有一个完整且持续更新的资产清单。组织常常连自身系统的完整情况都难以掌握。云地址不断变化,被遗忘的服务依旧在线,基础设施可能比创建它的团队更长久。没有任何中央机构记录着每项公开可达的服务、证书、域名和软件部署。

主动测量是从外部解决这一问题的方法。系统向选定的地址或名称发送受控探测,并记录响应。将这一方法扩展到大规模总体,可以揭示某种协议的广泛部署程度、漏洞修复速度、不安全默认配置是否持续存在,或证书实践如何变化。

由此产生的证据既强大又有其边界。扫描只展示了系统在特定时间间隔内向单个测量点呈现的内容。防火墙、网络路由、任播、负载均衡器、地域策略和速率限制都可能改变结果。一个地址可能代表云平台、共享服务、临时工作负载,或隐藏在提供商控制端点之后的客户。

因此,Durumeric 的贡献并非声称拥有互联网的完美副本。他帮助创造了一种能够系统性地观测互联网大面积暴露面的方法,同时将解读这些观测结果的责任留给了研究人员和用户。

密歇根大学为一种不同的扫描器提供了环境

Durumeric 在密歇根大学取得了计算机科学与工程博士学位。这所机构提供了一个将网络安全、系统工程、密码学和实证互联网研究相结合的环境。这种结合是必要的,因为互联网范围的扫描不仅仅依赖快速的数据包生成器。

一个可行的测量项目需要网络接入、目标生成方法、接收器性能、数据处理、协议专业知识,以及应对被扫描方问询的程序。研究人员还必须选择一个足够狭窄的问题,以证明联系大规模总体是合理的。工程设计与研究设计密不可分。

传统的扫描器通常会为每个目标和连接尝试维护状态。当管理员希望详细了解特定网络时,这种方法很合适;但当目标总体包含数十亿个可能地址时,成本会变得高昂。内存、超时和连接跟踪在调查达到互联网规模之前就已成为瓶颈。

ZMap 的设计核心是无状态、高速探测。对于一个基本的 TCP 探测,它可以构造一个精心制作的数据包,而不需要为每个目标维护传统的连接对象。扫描器验证返回的响应,并将结果送入单独的处理管道。

这种设计是转移而非消除复杂性。ZMap 必须构造出在响应返回时能够被识别的数据包,区分有效响应与无关流量,并防止自身接收系统成为瓶颈。目标生成必须将流量分布到地址空间中,而不是将持续的突发流量导向单个网络。

伪随机地址排序有助于分散运营负担。顺序扫描可能在转移到下一个前缀之前联系某一个大型前缀中的所有地址,形成对单个组织的集中流量。而置换则将这些探测更广泛地分布,并允许将扫描划分到配置正确的工作器上,同时避免重复联系相同目标。

速度之所以重要,是因为长时间扫描会产生内部不一致的数据集。如果一次调查持续数周,服务可能在扫描完成前被创建、移除或重新配置。更短的采集窗口能为研究人员提供更连贯的快照,并允许他们在事件披露、政策变化或补救活动后重复测量。

速度也增加了责任。扫描器可能在短时间内到达许多网络,触发安全警报,并暴露脆弱设备中的缺陷。因此,速率限制、可识别的源基础设施、公开的说明页面、受监控的联系地址和排除流程,都应属于测量系统的一部分,而非可选的公共关系措施。

扫描器只是第一阶段

对基础探测的回复本身很少能回答研究问题。TCP SYN-ACK 可能表明一个端口可达,但并不能确定应用协议、软件版本、安全配置或操作该服务的组织身份。Durumeric 更广泛的贡献部分在于将扫描视为一个分阶段的数据系统,而非单一的可执行程序。

ZMap 高效识别有响应的端点。ZGrab(以及后来的 ZGrab2)对已响应的小群体执行更昂贵的应用层交互。相关工具查询域名系统,处理加密材料,并根据技术规则评估证书。

这种分离使广域测量更加实用。发现阶段可以使用最小的交互,而较深层的握手则保留给与研究对象相关的系统。这也提高了可复现性,因为每个阶段都可以记录其配置、工具版本和结构化输出。

ZGrab2 可以与包括 HTTP、传输层安全(TLS)、安全外壳(SSH)和邮件协议在内的多种服务交互。其模块建立文档化的握手并记录机器可读字段,避免依赖分析人员检查单个横幅。研究人员随后可以比较大规模总体的协议版本、证书属性和服务行为。

证据仍然特定于所提供的交互。当服务器接收到另一个协议版本、通过服务器名称指示(SNI)提供的域名、不同的请求内容或客户端凭据时,其行为可能不同。负载均衡器或安全网关可能代替底层应用进行响应。准确的说法是,端点对特定探测产生了特定响应。

ZDNS 将同样的方法扩展到命名系统。可通过可复现的框架执行大量查询集,并以结构化记录形式返回。研究人员可以检查记录部署、权威基础设施、解析器行为和域名依赖关系,而无需将通用查找工具改造为未文档化的批处理系统。

DNS 结果取决于时间、解析器选择、缓存状态、地理位置和网络策略。内容分发系统通常将不同客户端导向不同地址,而权威服务器可能应用速率限制或定制响应。ZDNS 使这些观测更易收集;它并不把一个回答变为域名的永久属性。

加密工具集(包括 ZCrypto 和 ZLint)增加了另一分析层。可以解析证书及相关对象,并根据定义的技术配置文件进行检查。在大规模上,研究人员可以识别畸形对象、弱密钥、异常扩展、重复的颁发错误以及证书颁发机构实践中的变化。

一个 Lint 发现的安全意义比一个安全裁决更窄。一些检查关乎标准合规性或互操作性,而另一些则识别出具有更直接安全后果的条件。规则、证书上下文、软件行为和日期都影响解读。

这些工具共同构成一条管道:发现一个响应端点,建立协议对话,收集结构化证据,并分析生成的对象。每个阶段都会过滤总体并引入假设。Durumeric 的工作帮助使这些假设变得足够可复现,从而能被审查,而不是隐藏在某个单一的扫描整体中。

总体规模的证据改变了安全响应

ZMap 生态系统之所以重要,是因为研究人员用它来将协议和软件弱点与实际部署联系起来。一个漏洞可能在理论上很严重但实践中罕见,也可能在技术上很简单却存在于数百万系统上。互联网范围测量为这种差异提供了证据。

Durumeric 的早期工作包括对 HTTPS 和公钥基础设施的大规模研究。广域调查可以显示哪些协议版本仍在使用、证书如何颁发、公钥在何处被重用,以及推荐的安全变更是否已到达部署的系统。这些问题无法仅凭少数选定的网站或厂商声明可靠回答。

一项早期调查检查了 2008 年披露的 Debian OpenSSL 随机数生成器故障期间产生的加密密钥。该缺陷大幅减少了可能的密钥空间,使研究人员能够将在互联网上观测到的公钥与已知弱值进行比较。研究表明,在底层软件缺陷公开很久之后,易受攻击的密钥仍可能保留在部署中。

其教训超出了这一特定缺陷。补丁或公告的发布并不能确立补救完成。密钥、证书和系统可能在人事变动、迁移和组织边界中持续存在。测量可以检验历史弱点是否仍可见,而不是假定披露已消除风险。

Heartbleed 展示了在活跃安全事件期间进行快速测量的价值和难度。该 OpenSSL 漏洞于 2014 年 4 月披露,在特定条件下可能允许攻击者从受影响的 TLS 服务中检索内存。研究人员使用互联网范围扫描来估计暴露面,并监测漏洞披露后相关总体的变化。

响应需要的不仅是修补软件。可能受影响的密钥和证书也需要替换,而撤销实践并不一致。总体证据显示了补丁可用性与已部署基础设施中补救完成之间的差距。

测试漏洞可能比识别开放端口更具侵入性。探测可能触发缺陷行为,并在某些情况下检索数据。研究人员必须限制其收集内容,最小化保留时间,并权衡测量的公共价值与给远程系统带来的负担。

Logjam 研究将密码学分析与关于 Diffie-Hellman 参数部署的证据结合起来。它检查了弱出口级配置和常见素数组的重用,显示了针对广泛共享参数进行昂贵预计算可能影响许多服务,而非仅仅一个端点。

DROWN 暴露了另一种跨系统依赖。在一个服务上对过时的 SSLv2 协议的支持,在特定条件下可能危及现代 TLS 连接,特别是在重用相同 RSA 密钥的情况下。互联网范围的数据有助于揭示可能由不同团队管理但共享加密材料的服务之间的关系。

这些项目是集体研究成果,不应将密码学或分析贡献仅归功于 Durumeric。他的重要性在于帮助创造了将理论协议弱点与大规模部署进行对比所需的测量能力。

Mirai 调查将这种方法扩展到滥用生态系统。该僵尸网络通过广泛已知的默认凭据攻陷联网设备,并发动了大型分布式拒绝服务攻击。研究人员将扫描与恶意软件分析、网络遥测和攻击基础设施观察结合起来,研究其增长和目标。

服务响应有助于识别可能的设备群体,但产品归属仍不确定。横幅可能具有误导性,设备可能共享公共地址,制造商可能重用软件组件。该研究展示了总体证据的价值,同时也说明了为何不能将响应模式视为不容置疑的设备身份。

在这些案例中,测量改变了安全对话。研究人员可以估计流行度,比较随时间推移的补救情况,并识别共享的默认设置或依赖关系。他们无法修补受影响的系统、强制所有者采取行动,或保证每个地址的归属都正确无误。

Censys 将研究工具转变为商业服务

当数据变得持续可搜索时,互联网范围测量开始承担不同的操作角色。Censys 起源于密歇根大学的研究环境,它索引了关于主机、服务和证书的信息,使用户能够查询结果,而无需亲自运行完整的采集管线。

Durumeric 与 David Adrian 共同创立了 Censys。该公司围绕互联网情报、攻击面管理和威胁调查开发了商业产品。与该人物相关的公开材料将 Durumeric 列为创始人兼首席执行官,同时他还在斯坦福大学任教。

从研究系统向公司的转变改变了需要维护的内容。一个研究项目可以演示方法并发布数据集。而商业服务必须持续采集数据,运营存储和搜索基础设施,更新协议模块,解答客户疑问,保护敏感活动,并提供可靠的访问。

Censys 改变了外部可见性的经济成本。在共享互联网数据集广泛可用之前,组织可以自行构建扫描系统或委托定期评估。维护全球采集、协议解析器、历史索引和归因模型需要专业工程师和大量基础设施。

共享平台将这些成本分摊到客户身上。安全团队可以搜索与其组织相关联的证书、主机名、服务和地址,然后将结果与内部资产清单进行对比。差异可能揭示被遗忘的系统、暴露的测试环境、第三方服务以及在正常流程之外创建的资产。

其结果仍然是线索,而非自动验证的资产记录。云地址可能属于提供商,而应用属于其某个客户。证书可能承载旧的公司名称。域名可能指向供应商、收购目标或托管服务。组织需要将外部观察与合同、云账户和内部所有权记录进行核对。

该公司还将历史证据商业化。安全调查人员常常需要知晓事件、证书变更或披露之前哪些信息是可见的。记录服务首次出现的时间、展示了哪个证书、以及协议行为如何变化,有助于重建暴露的时间线。

历史数据需要与当前扫描一样的谨慎。端点可能因丢包、维护或过滤而在某次采集周期中被遗漏。解析器行为的变化可能产生表面趋势。数据集中未出现某服务,并不能证明该服务不可用;而某地址上存在某服务,也不能证明同一组织今天仍然控制着它。

因此,将 Censys 描述为一个持续构建的外部证据层比描述为互联网的完整清单更为贴切。它的价值取决于覆盖面、采集频率、协议支持、归因能力、修正过程,以及向用户展示结论如何得出的能力。

最难的问题在服务响应之后才开始

找到一个有响应的端点往往比确定它代表什么更容易。地址是一个网络位置,而非稳定的商业身份。路由记录可以识别宣告某个前缀的自治系统,而注册数据可以识别资源持有者。但两者都不必然识别出负责该服务的客户、应用或团队。

DNS 名称、证书、网页内容和协议横幅可以增强归因。但它们也可能是通用的、过时的或蓄意误导的。云提供商拥有的地址范围供成千上万的客户使用,内容分发网络代表组织终止连接,而这些组织的源站则在别处。

因此,归因需要结合多种信号,并应产生一个置信度级别,而非一个是非分明的答案。收购、子公司、承包商和托管服务提供商使问题更难。一个错误的归因可能浪费客户时间,误导披露,或损害不控制该系统的组织的声誉。

同样的谨慎适用于软件识别。一个横幅可能指示产品和版本,但厂商可能在不更改显示字符串的情况下回植了安全修复。反向代理可能暴露的是自身软件而非其背后的应用。服务可能模仿另一个产品,或故意配置为蜜罐。

与漏洞相关联的可见版本,并不能证明其可被利用。相关功能可能已禁用,可能已部署补偿控制,或者指纹识别错误。相反,一个通用的响应可能隐藏受影响的产品。测量有助于确定优先级;确认则需要额外证据。

IPv6 使总体覆盖更加困难。公共 IPv4 地址空间虽大但可枚举。IPv6 地址空间过大,无法逐个地址扫描,因此研究人员从 DNS、路由数据、证书、traceroute、被动观测和地址分配模式中构建候选目标集。

这些方法引入了选择偏差。未出现在公共命名或证书源中的系统可能仍然不可见。某个提供商的寻址方案可能比另一个更容易推断,而注重隐私或快速变化的地址则难以追踪。一次 IPv6 调查通常描述的是所构建的目标总体,而非整个协议地址空间。

云基础设施引入了另一种不稳定性。地址可能被快速重新分配,工作负载可能仅存在很短时间,托管服务可能将可见端点与提供应用的组织分离。一个在采集时准确的记录,如果缺乏时间和归因上下文而被呈现,可能变得具有误导性。

证书提供了基础设施的第二视角。公共日志可以在服务通过扫描可达之前暴露域名、颁发者、密钥和有效期。当与 DNS 和主机观测结合时,它们可以识别出单一来源无法揭示的关系。

证书仍不能证明所列的每个名称都是活跃的或由当前运营商控制。证书可能比服务存在更久,包含内部名称,或在被放弃的部署工作中颁发。跨源一致性增加置信度,而不一致通常暴露需要调查的局限。

从数据包响应到组织主张的转化,既是商业瓶颈也是分析瓶颈。客户付款不仅为了知道某个地址有应答。他们需要知道它可能代表什么资产,为何与自身关联,证据何时采集,以及结果能支持何种行动。

测量可以暴露基础设施依赖

一旦将多个证据来源结合,互联网测量能够描述的不仅仅是单个主机。一项服务可能依赖云平台、域名运营商、证书颁发机构、内容分发网络和身份提供商。即使每个单独服务都配置正确,这些依赖的集中程度也可能事关重大。

Durumeric 更广泛的研究考察了如何形式化并测量可见的基础设施关系。DNS 记录、证书、路由信息和服务响应可以显示,大量总体依赖有限数量的提供商。因此,其中某个提供商的中断或政策变化,可能影响看似独立的组织。

公共证据无法揭示每一项合同或运营安排。一条 DNS 记录显示了当前提供商,但未显示客户的迁移计划。证书颁发机构是信任链的一部分,但可能不是唯一可用的颁发者。一个云地址并不揭示工作负载是否可以故障转移至别处。

然而,测量可以使集中程度变得足够可见以供研究。研究对象变成了围绕某个组织的服务图,而非仅仅是地址本身。这将主动测量从漏洞研究扩展到了数字基础设施的经济和治理领域。

如果将一个可见依赖呈现为永久控制,这种能力也可能被误用。组织可以更换供应商,维护未公开的备份,或使用外部扫描器无法企及的内部系统。依赖证据在识别可观测关系时最强,而在声称了解客户全面弹性策略时最弱。

负责任的扫描是一套操作系统,而非一份免责声明

互联网范围的扫描会联系那些操作者未单独请求测量的系统。即使一个技术有效且低成本的探测,也可能触发入侵警报,耗费员工时间,或暴露老旧设备的缺陷。因此,负责任的运作需要一套持久流程,而非仅靠善意声明。

测量源应该是可识别的。反向 DNS 和一个公共信息页可以解释流量的目的、涉及的协议,以及如何联系操作者。联系渠道必须被监控,组织需要有权在报告意外影响时暂停扫描。

排除请求既创造了伦理保障,也带来了方法学局限。将某个网络从未来扫描中移除以尊重操作者决定,但也形成了一个盲区。如果关键的、安全敏感的或脆弱的网络更可能选择退出,那么被排除的总体可能会与剩余目标存在系统性差异。

研究人员应保留屏蔽列表版本,并说明排除如何影响数据集。真实的总体,可能是在预留地址、退出项、失败和本地限制之后仍存留的针对性的、可路由的地址空间,而非对全部公共互联网的无条件声称。

速率是另一个政策选择。一个有足够带宽的源可以比小规模目标网络或脆弱设备舒适接收的速度更快地传输。随机排序分散了流量,但持有大型地址块的网络仍可能收到许多探测。重复调查也会产生累积负担。

探测的内容比附加在工具上的标签更重要。一次基本的握手不同于认证尝试、漏洞利用检查或检索意外数据的请求。ZMap 提供发送数据包的框架;研究人员或操作者选择交互方式,并承担其影响的责任。

处理投诉也能提高测量质量。操作者可能解释某响应来自中间件、蜜罐或共享平台。这种反馈可以揭示采集方法中的错误假设。一个仅将远程组织视为目标的扫描器,会同时丧失合法性和有用的证据。

执行扫描的基础设施也需要自身安全。它要处理不受信任的数据包和应用数据,因此畸形响应可能针对解析器发起攻击或消耗资源。测量平台需要输入验证、隔离、依赖项管理和漏洞响应,就像任何其他暴露的服务一样。

对数据和数据包生成系统的访问也需要控制。被攻陷的扫描器可能被重定向用于有害流量,而失窃的数据集可能暴露对攻击者有宝贵价值的基础设施关系。原始观测数据、目标列表和客户搜索不应被视为无害的研究成果。

双重用途无法从该领域消除。相同的服务指纹可以支持资产清点,也可以用于侦察。历史记录可以辅助事件重建,也可以帮助攻击者规划。发布工具会降低合法研究人员的门槛,也同样降低滥用者的门槛。

限制公共研究工具并不能消除有能力的攻击者进行大规模扫描。更现实的治理模型是保留透明的方法、安全的默认设置、文档化的行为规范,以及每个操作者的问责制。Durumeric 并不控制每个下载 ZMap 的组织,正如网络工具的开发者并不控制日后用其生成的每个数据包一样。

数据清洗可能像扫描一样改变结果

互联网范围测量会产生畸形、重复、不完整和相互矛盾的记录。研究人员必须决定如何处理重试、超时、重定向、共享证书、协议错误以及不符合预期模式的横幅。

这些决策会改变被描述的总体。一个地址可能承载数百个域名。一项服务可能通过许多地址出现。一个负载均衡的应用可能在同一调查中返回不同的证书。解析器更新可能将旧的响应分类得与早期研究中使用软件时的结果不同。

一个经得起推敲的项目,会像记录数据包生成配置一样仔细记录数据处理管道。工具版本、目标列表、排除项、时间戳、重试行为和各个阶段的损耗,有助于其他研究人员理解最终计数是如何产生的。

时效性要求取决于预期用途。一项协议采纳研究可能允许定期快照,而事件响应和攻击面管理则需要更近期的观测。每条记录都应携带采集时间,以及足够的来源信息以区分实时发现和历史背景。

误报和漏报也具有不同的操作成本。一个错误归因可能将安全团队引向不属于自己的资产;一个被遗漏的服务可能使真实的暴露面未被发现。广域研究可以报告总体的不确定性,但自动化执行或高严重级别的客户警报则需要更强的证据支持。

因此,恰当的阈值取决于附加于数据之上的行动。一个搜索平台可以暴露出可能的关联以供调查。它不应该仅仅因为确定性结果更易于展示,就将每个弱信号转化为明确的企业资产。

没有一个测量点能看到整个互联网

主动测量通过扫描器网络可用的路由、过滤和策略到达目标。一次从北美进行的调查,与从亚洲、非洲或中东进行的调查,可能收到不同的响应。地理围栏、审查、任播和区域托管都可能改变观测到的结果。

一个从多个位置宣告的地址,可能返回由扫描器源最近的边界网关协议(BGP)路由选择的实例。一次路由变化可能在没有任何应用配置更改的情况下改变响应。路由信息有助于解读扫描,但控制平面记录并不能揭示每一次转发决策。

分布式观测点提升视角的同时也增加了成本。每个源都需要安全操作、可识别的联系信息,并遵守其辖区内的法律和提供商政策。更多的位置并不营造一个普适视角;它们产生多个视角,而视角间的差异本身可以成为证据。

这就是为什么“互联网范围”应描述目标广度而非全知全能。一个平台可以接触到公共 IPv4 空间的大部分,但仍然只能看到从其选定路径可达的每个服务的某个版本。

被动测量提供了一个有用的对比。它记录流经观测点的流量,能够显示真实用户如何与协议交互。它受限于研究人员可用的链路,并且可能涉及比受控主动探测远为敏感的用户数据。

两种方法回答不同的问题。主动扫描可以显示有多少端点响应了某个定义的交互。被动数据可以显示有多少观测流量使用某个协议。一个重度使用的服务和一百万个极少使用的服务,在这些测量下会产生截然不同的结果。

机构多样性也很重要。应用互联网数据分析中心(CAIDA)在位于加利福尼亚大学圣迭戈分校的独立机构基础上开发拓扑、路由和测量基础设施。ZMap 生态系统更直接地集中于互联网面向的服务、加密部署和暴露的基础设施。

这些项目可以在不共享组织控制权的情况下互补。独立的工具和数据集使研究人员能够识别盲点,并防止某一个采集者成为关于互联网的不容置疑的真相来源。

斯坦福扩展了测量议程

Durumeric 是斯坦福大学计算机科学的助理教授,其工作涵盖互联网安全、信任、安全和测量。这所大学为他提供了学生、合作者和长期研究的新机构基础,而 Censys 则运营商业采集和产品环境。

这两个角色相互关联但界限分明。学术研究预期产生可推广的知识并经受公共审查。公司必须保护客户、维护服务、差异化产品并创造收入。当研究使用商业基础设施时,对资金、隶属关系和数据访问的透明性非常重要。

Durumeric 的后期工作超出了暴露主机和加密部署的范畴。主动测量可以通过比较协议、域名和服务在不同网络和地域中的行为来检测审查。一个失败的连接可能源于过滤、路由、拥塞或服务器策略,因此最有力的研究使用重复实验和多个观测点。

同样的实证方法已扩展到骚扰、虚假信息和其他有害的在线系统。这些主题涉及人、平台和内容,而不仅仅是数据包。数据可能更加敏感,自动分类可能影响脆弱的个体或政治言论。

这一更广泛的议程显示了方法上的连续性,而非主题上的同一性。研究人员构建关于分布式系统的数据集,测试一种可观测行为,并说明证据能确立什么和不能确立什么。当测量对象是人和社会活动而非公共协议响应时,伦理义务随之增加。

教学将能力传播出单个实验室。经过测量训练的学生进入大学、安全公司、公共机构和技术平台。一个学术团队的基础设施影响包括其产出的工具和论文,但同样包括那些带着这些方法走向别处的研究人员。

Durumeric 获得的奖项反映了该领域的确立。其所获认可包括 2015 年被 MIT Technology Review 选为“35 岁以下创新者”和斯隆研究奖学金。2024 年对 ZMap 十年历程的回顾记录了其在学术和工业研究中的广泛采用。

奖项并不验证每个数据集或商业主张。其重要性在于,互联网范围的主动测量已从不寻常的系统实验,转变为安全与基础设施研究中被认可的一个组成部分。

开源工具与专有地图现在并存

ZMap 以及许多相关工具是开源软件。研究人员可以检查其行为、复现方法并改编模块,而无需完全依赖商业提供商。具备相应能力的组织可以自行运营测量。

开源可用性并不使互联网范围的扫描变得便宜或简单。它需要网络接入、计算、存储、协议工程、运营联络和伦理审查。一个管理糟糕的部署可能造成损害,即使底层代码是公开且技术上健全的。

维护是另一个集中点。协议会变化,解析器需要安全修复,新操作系统影响性能。法律上允许 fork 一个项目,并不能产生维持一个有信誉的替代品所需的工程师。

Censys 增加了持续运营、产品支持、归因和可搜索界面。订阅收入可以资助短期研究资助可能无法维持的工程和基础设施。客户获得便利性,但依赖于提供商的采集策略、更新节奏和数据模型。

商业运营也改变了披露方式。研究团队可以发布方法和选定数据集,而公司有理由保护专有增值、客户活动和产品逻辑。这种张力不能通过将一方标记为开放而另一方封闭来解决。

真正相关的问题是哪些采集方法仍可审查,错误如何能被质疑,以及公共利益研究是否能保留有意义的访问。一个商业地图可以是有价值的,而不必被接受为一个中立的公共权威。

随着安全团队、政府和研究人员依赖少数外部情报提供商,集中化可能成为更大的问题。共享数据可以减少重复的扫描流量,但也可能形成测量单一文化。如果一个提供商改变了覆盖范围或分类,许多用户可能继承相同的盲点。

一个多元系统将包括开放工具、多个商业和学术采集者、透明的方法和比较机制。独立的数据集施加成本,但也防止某个平台的解读成为互联网事实上的官方清单。

Durumeric 让互联网变得更可观测,而非更可治理

Durumeric 对基础设施的影响可以通过几个相互连接的阶段来追溯。系统研究重新设计了高速扫描;ZMap 使该方法可重用;ZGrab2、ZDNS 和加密工具将基本应答转化为结构化证据;安全研究将这些证据与系统弱点联系起来;Censys 将连续测量转化为防御者和调查者所使用的服务。

斯坦福将研究项目扩展到基础设施依赖、审查、滥用和在线安全。每个阶段都涉及不同的合作者和机构,不应将这些归并为一个人的成就。

Durumeric 在其研究团队内拥有直接权力,并在 Censys 承担行政责任,同时受大学、公司、董事会和法律的约束。他可以影响研究问题、产品方向、人员配备和测量系统的运作。

他并不拥有这些系统所记录的主机、网络、域名或证书。他不能强制组织修补服务、响应披露或接受某个归因。他并不控制使用 ZMap 执行的每次扫描,也不控制基于其输出构建的每个解读。

他的权威是方法论的、制度性的和商业性的。他帮助定义了如何在规模上收集和利用观测结果。其后果仍然是分布在系统所有者、网络运营商、云提供商、研究人员、客户和公共机构之间。

这个边界是该个人档案的核心事实。互联网范围测量可以揭示任何单个操作者无法观察到的系统性失效。但它无法提供纠正这些问题所需的治理。可见性可以产生压力、证据和问责,但补救仍然依赖于对受影响基础设施拥有管辖权的个人和组织。

BTW 为何跟踪 Zakir Durumeric

BTW 跟踪 Durumeric,是因为当数字基础设施的外部可见面未知时,就无法有效地加以保护或治理。他的工作帮助将广域扫描从缓慢的专业演习,转变为研究人员和商业防御者可使用的可重复测量能力。

同样的工作也暴露了数据驱动权威的局限。一张地图可能不完整、过时或归属错误。一个可达的服务不一定存在漏洞,而一个地址并非一个稳定的组织身份。一个测量平台可以在改善问责的同时,制造出新的隐私、双重用途和集中化风险。

因此,Durumeric 的职业生涯是测量变成基础设施的一个案例研究。密歇根大学提供了研究环境,ZMap 社区创建了可重用的技术基础,Censys 增添了持续的商业运营,而斯坦福则支持进一步的探究和培养。

其结果不是互联网的中心化清单。它是一个强大的外部证据层,其价值系于透明的方法、当前的数据、负责任的运营和制度的多元性。

下一个考验不是扫描能否变得更快。而是生产这些地图的组织能否使重要发现变得可追溯、可纠正和可比较,同时避免让某个局部视图僵化为不容置疑的基本事实。

主要证据与未解问题

本档案的主要证据包括斯坦福大学记录、Durumeric 的职业和发表历史、ZMap 项目文档、Censys 领导层与产品材料,以及使用该测量生态系统的同行评审研究。这些来源共同确立了他的角色、ZMap 的设计和影响、他参与 Censys 的情况,以及更广泛的互联网安全研究计划。

项目资料和公司资料描述了其自身的工具与运作。不应将它们视为对全面覆盖、在所有情况下准确归因或每个商业产品功能有效性的独立证明。

未解问题涉及测量质量和机构权力两方面。在 IPv6、短寿命云系统、区域过滤服务和排除扫描器的网络方面,外部覆盖仍然困难。归因错误可能影响研究发现、客户工作流和公开声明,但全面的错误率尚未公开确立。

商业开发引发了进一步问题。随着付费服务的扩展,并不总是清楚哪些数据集、采集方法和修正程序将保持公开可审查。独立的采集者面临巨大的运营成本,而对单一共享数据集的依赖可能减少方法的多样性。

被测量的组织也需要可信的途径来质疑或纠正不准确的记录,同时又不能让退出机制变成隐藏合法公共证据的手段。搜索平台必须防止用于防御的相同能力变成廉价有害侦察的来源。

这些张力将决定互联网主动测量会发展为一个多元的公共证据层,还是会整合为少数专有地图。