AI 是否威胁网络安全？

《AI 是否威胁网络安全？》由 BTW Media 跟踪分析，因为公开证据将其与互联网基础设施、治理、运营依赖性及市场可见性联系起来。

• 威胁行为者利用生成式人工智能升级攻击，利用云漏洞和地缘政治紧张局势。
• 像 ChatGPT 这样的人工智能系统可能无意中生成复杂的恶意软件，规避传统的检测方法。
• 将人工智能集成到关键系统中增加了网络攻击危及人类安全的风险，例如在自动驾驶车辆和医疗设备中。

随着人工智能技术不断发展，其引入的风险和漏洞也在增加。从优化网络攻击到无意中生成复杂的恶意软件，将人工智能集成到关键系统中对保护数字基础设施和防范新威胁提出了重大挑战。

AI 在网络安全中的风险

优化网络攻击

专家警告称，威胁行为者可以利用生成式人工智能和大型语言模型将网络攻击的速度和复杂性提升到前所未有的水平。这些进步使攻击者能够制定创新方法来破坏安全系统、利用漏洞并实施复杂的攻击。通过利用生成式人工智能，恶意行为者可以发现渗透云基础设施的新途径，利用地缘政治紧张局势策划有针对性的攻击，并完善策略，以更高的效率和隐蔽性部署勒索软件和钓鱼活动。

自动化恶意软件

像 ChatGPT 这样的人工智能系统展示了精准高效处理大量数据的能力。尽管这些技术在设计中设有防护措施以防止生成恶意代码，但狡猾的对手仍可利用漏洞制造出能够逃避检测并破坏目标系统的复杂恶意软件。例如，研究人员发现了人工智能驱动平台中的漏洞，使得能够创建几乎不可检测的数据窃取可执行文件，这让人联想到国家支持的网络威胁行为者所采用的技术。

物理安全关切

随着人工智能继续渗透到各个行业的关键系统中，对物理安全的潜在风险显著增加。人工智能驱动的自动驾驶汽车中的网络安全漏洞可能危及乘客安全，而建筑设备或医疗设备中的数据操纵可能导致危险情况和危及生命的后果。将人工智能集成到此类系统中必须采取严格的安全协议，以防止恶意利用并降低对人类生命的潜在风险。

AI 隐私风险

人工智能系统意外泄露敏感信息的事件凸显了这些技术固有的隐私风险。尽管努力纠正此类漏洞，但人工智能系统处理的大量数据对用户隐私和数据安全构成持续威胁。恶意行为者利用人工智能基础设施中的漏洞可能获取敏感信息，而人工智能驱动的监控和分析技术则引发了对侵犯个人隐私权和公民自由权的担忧。

窃取人工智能模型

人工智能模型的失窃构成重大威胁，对手利用网络攻击、社会工程策略和漏洞利用来窃取专有技术。被盗的人工智能模型可以被操纵并重新用于各种恶意活动，加剧了对数字安全和知识产权的风险。

数据操纵与投毒

人工智能对训练数据的依赖使其容易受到操纵和投毒攻击，攻击者可以篡改数据集以产生意外或恶意的结果。通过向人工智能训练集中注入有偏差或伪造的数据，对手可以损害人工智能驱动系统的完整性和可靠性，给包括医疗、金融和交通在内的多个行业带来重大风险。

冒充与深度伪造

人工智能驱动的深度伪造技术的进步使得逼真的冒充成为可能，助长了各种形式的欺诈、欺骗和虚假信息活动。从模仿真人的合成声音到逼真操纵的视频片段，深度伪造技术给身份验证、身份认证和数字通信的信任带来了重大挑战。

更复杂的攻击

恶意行为者可以利用人工智能策划更复杂、更精细的攻击，从自动化的钓鱼活动到能够规避传统安全措施的高级恶意软件变体。人工智能驱动的工具使攻击者能够自动化侦察过程、将漏洞武器化，并以更高的精确度和效率利用目标系统中的弱点。

另请阅读：犯罪分子如何利用人工智能面部应用诈骗用户：中国案例研究揭示风险

降低人工智能在网络安全中的风险

审计您使用的任何人工智能系统

检查您使用的任何人工智能系统的当前声誉，以避免安全和隐私问题。组织应定期审计其系统，以堵塞漏洞并降低人工智能风险。审计可在网络安全和人工智能专家的协助下完成，他们可以进行渗透测试、漏洞评估和系统审查。

限制通过自动化共享的个人信息

越来越多的人在未了解人工智能隐私风险的情况下与人工智能分享机密信息。例如，知名组织的员工被发现将敏感的公司数据输入 ChatGPT。甚至有一位医生在聊天机器人中输入了病人的姓名和病情来撰写信件，却没有意识到 ChatGPT 的安全风险。

此类行为会带来安全风险并违反像 HIPAA 这样的隐私法规。虽然人工智能语言模型可能无法披露信息，但对话会因质量控制而被记录，并且系统维护团队可以访问。因此，最佳做法是避免与人工智能分享任何个人信息。

数据安全

如前所述，人工智能依赖其训练数据来产生良好结果。如果数据被修改或投毒，人工智能可能产生意想不到的危险结果。为了保护人工智能免受数据投毒的影响，组织必须投资先进的加密、访问控制和备份技术。网络应通过防火墙、入侵检测系统和复杂的密码进行保护。

优化软件

遵循所有软件维护的最佳实践，以保护自己免受人工智能风险的影响。这包括为人工智能软件和框架、操作系统及应用程序更新最新的补丁和更新，以降低被利用和恶意软件攻击的风险。使用下一代杀毒技术保护系统，以阻止高级恶意威胁。此外，投资于网络和应用安全措施以加强防御。

对抗训练

对抗训练是一种特定于人工智能的安全措施，有助于人工智能对攻击做出响应。这种机器学习方法通过让人工智能模型接触不同的场景、数据和技术来提高其弹性。

漏洞管理

组织可以投资人工智能漏洞管理，以减轻数据泄露和泄漏的风险。漏洞管理是一个端到端的过程，涉及识别、分析和分类漏洞，并减少与人工智能系统独特特性相关的攻击面。

人工智能事件响应

尽管拥有最好的安全措施，但随着人工智能风险的增长，您的组织仍可能遭受与人工智能相关的网络安全攻击。您应该有一个清晰概述的事件响应计划，涵盖遏制、调查和修复，以便从此类事件中恢复。

另请阅读：人工智能如何应用于网络安全？

人工智能在网络安全中的优势

网络威胁检测

高级恶意软件可以通过各种规避策略（如代码和结构更改）逃避标准网络安全措施。然而，由人工智能和机器学习赋能的高级杀毒软件可以检测潜在威胁的整体结构、编程逻辑和数据中的异常情况。

人工智能驱动的威胁检测工具通过识别新威胁并增强组织预测和响应警告的能力来加强保护。此外，基于人工智能的端点安全软件可以保护组织内的笔记本电脑、智能手机和服务器。

预测模型

通过利用生成式人工智能，网络安全专业人员可以从被动应对转向主动防御。例如，他们可以使用生成式人工智能开发预测模型，以预测新威胁并降低风险。

钓鱼检测

钓鱼电子邮件构成重大威胁。恶意行为者可以以极低的风险利用钓鱼策略窃取敏感信息和金钱。此外，区分钓鱼电子邮件和合法邮件正变得越来越具有挑战性。

人工智能可以通过加强钓鱼检测来增强网络安全工作。集成人工智能的电子邮件过滤器可以仔细检查文本，以识别具有可疑模式的电子邮件并阻止各种类型的垃圾邮件。

识别机器人

机器人可以破坏网络和网站，危害组织的安全、生产力和收入。它们还可以使用窃取的凭证控制账户，并帮助网络犯罪分子进行欺诈活动。

使用基于机器学习模型的软件可以分析网络流量和数据以检测机器人行为，帮助网络安全专家进行对抗。网络专家还可以利用人工智能设计更安全的验证码机制来对抗机器人。

保护网络

在渗透网络后，攻击者可能会窃取数据或部署勒索软件。及早检测此类威胁至关重要。基于人工智能的异常检测可以监控网络流量和系统日志，以查找未授权访问、异常代码和其他可疑活动的迹象，从而防止入侵。此外，人工智能可以通过分析需求和特性来协助网络分段。

事件响应

人工智能可以增强威胁搜寻、管理和事件响应。即使您的团队不在，它也能持续运行以应对威胁并立即采取行动。此外，它还能缩短事件响应时间，最大限度地减少攻击的影响。

加强访问控制

许多访问控制系统利用人工智能来加强安全性。它们可以阻止来自可疑 IP 地址的登录，标记可疑活动，并提示使用弱密码的用户更新凭证并采用多因素身份验证。

人工智能还通过利用生物识别、上下文信息和用户行为数据来准确验证授权用户的身份并减少误用风险，从而协助用户身份验证。