- 深度伪造能够令人信服地伪造音频、视频或图像欺骗，将深度学习技术与虚假内容创作融为一体。
- 虽然它们在娱乐和客户服务方面有用途，但其更黑暗的应用包括传播虚假信息和助长身份欺诈。
- 对抗深度伪造的持续军备竞赛推动了诸如 Sentinel 和 Sensity AI 等检测工具的发展，以及像 C2PA 这样的合作倡议。
由人工智能驱动的深度伪造能够令人信服地伪造音频、视频或图像欺骗，带来了双重忧虑：从娱乐领域的良性应用，到散布虚假信息和助长身份欺诈等险恶用途。为了应对这一威胁，诸如 Sentinel 和 Sensity AI 等检测工具正在涌现，同时还有 C2PA 等倡议。
什么是深度伪造 AI？
深度伪造 AI 是一种人工智能形式，用于制作令人信服的图像、音频和视频欺骗。该术语涵盖了技术本身及其产生的欺骗性内容，是“深度学习”和“伪造”的结合。
深度伪造通常操纵现有素材，将一个人替换为另一个人。它们还生成全新内容，描绘个人从事他们从未做过的行为或说出从未说过的话。
围绕深度伪造的主要担忧是其传播看似来自可靠来源的虚假信息的潜力。例如，2022 年，出现了一段深度伪造视频，显示乌克兰总统弗拉基米尔·泽连斯基据称敦促其部队投降。
人们还担心深度伪造可能干预选举和传播选举宣传。弗吉尼亚大学政治中心学术项目官员 Carah Ong Whaley 表示：“政治顾问、竞选团队、候选人甚至普通公众都在未充分了解其工作原理，或更重要的是，未了解其可能造成的所有潜在危害的情况下，贸然使用该技术。”“我尤其担心人工智能被用于操纵选民——不仅是通过深度伪造，还通过生成式人工智能在短信和电子邮件活动中实现‘类固醇式’微目标定位的能力，”她说。
政治顾问、竞选团队、候选人甚至普通公众都在未充分了解其工作原理，或更重要的是，未了解其可能造成的所有潜在危害的情况下，贸然使用该技术。
Carah Ong Whaley，弗吉尼亚大学政治中心学术项目官员
尽管深度伪造存在重大风险，但它们也有合法应用，例如在视频游戏音频和娱乐中，以及在客户支持和呼叫应答系统（如呼叫转移和接待服务）中。
另请阅读：深度伪造属于生成式人工智能吗？
深度伪造技术的应用
负面应用
勒索和名誉损害：当目标图像被置于非法、不当或其他具有损害性的场景中，例如欺骗公众、参与明确的性行为或吸毒，就会发生此类情况。这些视频被用来胁迫受害者、损害个人声誉、寻求报复或进行网络欺凌。最常见的勒索或报复形式是非自愿的深度伪造色情内容，通常被称为“复仇色情”。2019 年，一款名为 DeepNude 的软件被开发出来，只需点击一下即可将女性渲染成裸体，并迅速以恶意目的病毒式传播，尤其是用于骚扰女性。
虚假证据：伪造的深度伪造图像或音频可作为法律程序中的证据，虚假地牵连个人或为其开脱罪责。
欺诈：深度伪造被用来冒充他人，通常是为了获取敏感的个人信息，如银行账户信息或信用卡号码。这种冒充可能扩展到公司高管或有权访问机密数据的员工，构成重大的网络安全威胁。
据 IEEE Spectrum 报道，“在生物识别公司 iProov 进行的一项网络安全行业调查中，超过四分之三的受访者表示，身份欺诈是深度伪造带来的最大担忧。”
虚假信息和政治操纵：深度伪造的政治人物或受信任人物的视频被用来操纵公众舆论和制造混乱，常常助长假新闻的传播。几乎所有世界领导人，包括美国前总统巴拉克·奥巴马、时任美国总统唐纳德·特朗普、美国政治家南希·佩洛西、德国总理安格拉·默克尔，都曾以某种方式被伪造视频利用，甚至 Facebook 创始人马克·扎克伯格也遭遇过类似情况。涉及乌克兰总统弗拉基米尔·泽连斯基的深度伪造视频等实例显示了深度伪造可能加剧冲突和破坏局势稳定的潜力。
股票操纵：伪造的深度伪造内容可以影响股价，例如高管发表关于公司的毁谤性言论的虚假视频会导致股票贬值。相反，推广技术突破或产品发布的虚假视频可以人为抬高股票价值。
即时测验
政治人物或受信任人物的深度伪造视频如何助长虚假信息？
A. 通过向公众提供准确信息
B. 通过操纵公众舆论和制造混乱
C. 通过揭露政治腐败
D. 通过促进政府透明度
正确答案在文章底部。
积极应用
艺术：深度伪造被用来利用艺术家现有作品的录音生成新的音乐作品，为音乐创作和混音提供了创新方法。并且深度伪造技术使艺术品创作民主化，让更多人能够接触到它。它使艺术家能够创作出创新作品，以独特的体验吸引观众。例如，佛罗里达州圣彼得堡的达利博物馆利用深度伪造技术让萨尔瓦多·达利复活，允许参观者通过人工智能与这位著名艺术家互动。
数字营销：深度伪造技术越来越被用于数字营销策略，以创建引人入胜的沉浸式内容。通过利用深度伪造，营销人员可以开发高度个性化的广告和促销材料，根据个人偏好和人口统计数据进行定制。例如，深度伪造可用于将产品图片叠加到现实生活场景中，让消费者在自己的环境中可视化产品的益处。此外，深度伪造技术能够创建引人注目的故事叙述活动，增强品牌参与度并提高客户忠诚度。另外，深度伪造为营销人员提供了以创新方式重新利用现有内容的能力，最大化广告投资的回报。
“这项技术越来越多地应用于数字营销，使公司能够降低成本，更轻松地设计促销活动，个性化其产品，为消费者创造独特体验，同时也提高目标市场对某些具有社会重要性的敏感问题的认识，”梅加特伦德大学研究生学习和科研副院长、市场营销、传播与管理教授 Radoslav Baltezarevic 表示。
这项技术越来越多地应用于数字营销，使公司能够降低成本，更轻松地设计促销活动，个性化其产品，为消费者创造独特体验，同时也提高目标市场对某些具有社会重要性的敏感问题的认识。
Radoslav Baltezarevic，梅加特伦德大学研究生学习和科研副院长
另请阅读：深度伪造 AI 违法吗？
深度伪造检测工具与技术
深度伪造检测工具是一种旨在识别和检测深度伪造视频或图像的软件或系统。它通常利用各种方法来分析数字内容，并确定其是否被 AI 操纵或生成。
随着深度伪造数量的增加，深度伪造检测软件越来越受欢迎，以防止伪造视频和音频的有害影响。预计全球深度伪造检测软件市场在 2024 年至 2029 年间的复合年增长率（CAGR）为 38.3%。而伪造图像检测市场规模预计将从 2024 年的 6 亿美元增长到 2029 年的 39 亿美元，预测期内的复合年增长率为 41.6%。
最近，OpenAI 推出了一款工具，用于检测由其 AI 生成器 DALL-E 创建的图像，因为专家警告说 AI 生成的深度伪造会影响选举。该检测器对 DALL-E 图像有效，但对其他图像无效，将由虚假信息研究人员进行测试。OpenAI 还在研究 AI 内容水印，并加入了诸如 C2PA 等努力，以确保数字内容的真实性。
Sentinel：Sentinel是一个基于人工智能的保护平台，帮助民主政府、国防机构和企业阻止深度伪造的威胁。欧洲各地的知名组织依靠 Sentinel 的技术进行防御。该机制允许用户通过其网站或 API 提交数字内容，然后自动对其进行 AI 篡改审查。系统会辨别内容的真实性，并提供任何修改的图形表示。
Deepware：Deepware是一款用户友好的工具，旨在检测深度伪造视频。它使用先进的机器学习算法，扫描视频内容寻找操纵迹象，例如不自然的面部动作以及光照和阴影的不一致。它提供一个概率分数，指示视频是深度伪造的可能性，帮助用户快速评估其真实性。
Sensity：Sensity提供了一个全面的平台，用于实时检测深度伪造。它结合计算机视觉和深度学习技术来分析视频帧和音频信号。Sensity 的技术被政府和媒体机构用于防止假新闻和恶意内容的传播。
微软视频验证器工具：微软的视频验证器工具是一个强大的资源，能够分析静态图像和视频内容，提供表明潜在操纵的置信度评分。它巧妙地识别深度伪造中固有的混合边界，以及人眼难以察觉的细微灰度差异。此外，它即时提供置信度评分，有助于快速识别深度伪造。
英特尔 FakeCatcher：FakeCatcher 准确率高达 96%，可在毫秒内提供结果。它由英特尔与纽约州立大学宾汉姆顿分校的 Umur Ciftci 合作开发，利用英特尔的硬件和软件，在服务器上运行，并通过基于 Web 的界面访问。FakeCatcher 采用了一种新颖的方法，通过检查真实视频中定义人类行为的真实线索来工作。它专注于视频像素中明显的“血流”等细微指标。随着血液循环，血管发生颜色变化，这些细微的信号从不同面部区域收集。复杂的算法随后将这些信号转换为时空图。通过深度学习技术，FakeCatcher 可以快速确定视频的真实性，区分真实和伪造的内容。
正确答案是 B，通过操纵公众舆论和制造混乱。