• NIST 已重新发布 Dioptra，这是一款开源工具，旨在衡量恶意攻击对 AI 系统的影响，特别是针对训练数据的攻击。
  • 该工具旨在帮助公司和用户评估和跟踪 AI 风险，作为基准测试和测试 AI 模型的平台。

OUR TAKE
美国国家标准与技术研究院 (NIST) 重新推出了 Dioptra，这是一款开源的网络工具，用于评估 AI 系统因恶意攻击（尤其是那些“毒化”训练数据的攻击）而导致的漏洞和性能下降。该工具旨在帮助组织评估和管理 AI 风险，为基准测试和在模拟威胁环境下测试 AI 模型提供平台。
-Rae Li, BTW 记者

发生了什么

美国国家标准与技术研究院 (NIST) 已重新发布 Dioptra，这是一款最初于 2022 年推出的开源网络工具。Dioptra 旨在衡量恶意攻击对 AI 系统性能的影响。这款模块化工具可以帮助公司和用户评估、分析和跟踪 AI 风险，作为基准测试和研究模型的平台，以及在“红队”环境中将模型暴露于模拟威胁。NIST 强调，Dioptra 可以提供有关可能降低 AI 系统性能的攻击类型的洞见，并量化这种影响。

NIST 还发布了其新成立的 AI 安全研究所的文件，这些文件概述了减轻 AI 危险的策略，例如其可能被滥用于生成未经同意的色情内容。这项努力是拜登总统发布 AI 行政命令后更广泛举措的一部分。该行政命令要求开发 AI 模型的公司（如苹果）在公开部署这些模型之前，必须通知联邦政府并分享所有安全测试的结果。因此，Dioptra 的开发和发布是美英两国在推进 AI 模型测试和安全方面持续合作的重要步骤。

另请阅读：NIST 推出评估生成式 AI 的平台

另请阅读：新加坡部长强调全球 AI 框架的必要性

为何重要

这标志着 AI 安全与风险管理领域的重大进步，Dioptra 工具的重新发布为 AI 系统开发者和用户更好地理解和评估 AI 模型对恶意攻击的脆弱性提供了重要资源。通过模拟攻击和“红队”测试，Dioptra 有助于识别和量化潜在的安全威胁，从而促进更安全的 AI 系统的设计和部署。这对于保护用户数据、维护隐私和防止 AI 技术滥用至关重要。

此外，Dioptra 的推出是对美国总统乔·拜登 AI 行政命令的响应，该命令强调了 AI 安全与透明度的重要性，并要求开发 AI 模型的公司向政府分享安全测试的结果。这不仅有助于提升公众对 AI 技术的信任，也为全球 AI 治理树立了标准。