Unmasking deepfake illusions and guarding against deception

• 深度伪造能够逼真地制造音频、视频或图像欺骗，将深度学习技术与伪造内容创作相结合。
• 虽然它们在娱乐和客户服务中有用途，但其更阴暗的应用包括传播虚假信息和促进身份欺诈。
• 与深度伪造的持续军备竞赛推动了检测工具的开发，如Sentinel和Sensity AI，以及像C2PA这样的协作倡议。

由人工智能驱动的深度伪造能够逼真地制造音频、视频或图像欺骗，引发了双重担忧：从娱乐领域的良性应用到传播虚假信息、助长身份欺诈等邪恶用途。为了应对这一威胁，检测工具如Sentinel和Sensity AI正在兴起，同时诸如C2PA等倡议也在推进。 另见: Ziggo集团任命领导人，备战2027年阿姆斯特丹上市.

什么是深度伪造AI？

深度伪造AI是一种用于制造逼真图像、音频和视频欺骗的人工智能形式。该术语既包括技术本身，也包括由此产生的欺骗性内容，是深度学习和伪造的合成词。 另见: Alejandro Estua.

深度伪造通常操纵现有源材料，将一个人替换为另一个人。它们还能生成全新的内容，描绘人物从事他们从未实际做过的行为或说的话。 另见: 亚历杭德罗·曼佐.

围绕深度伪造的主要担忧是它们可能传播看似来自可靠来源的虚假信息。例如，2022年出现了一段深度伪造视频，显示乌克兰总统弗拉基米尔·泽连斯基据称敦促其部队投降。 另见: 亚历杭德罗·埃尔南德斯.

还有人担心深度伪造可能干预选举并传播选举宣传。弗吉尼亚大学政治中心学术项目官员Carah Ong Whaley表示：“政治顾问、竞选活动、候选人甚至普通公众都在使用这项技术，却没有完全理解其工作原理，更重要的是，不了解它可能造成的所有潜在危害。”她说：“我尤其担心人工智能被用于操纵选民——不仅通过深度伪造，还通过生成式AI能够通过短信和电子邮件活动进行超精准定向的能力。” 另见: 亚历杭德罗·加尔萨.

政治顾问、竞选活动、候选人甚至普通公众都在使用这项技术，却没有完全理解其工作原理，更重要的是，不了解它可能造成的所有潜在危害。 另见: Alejandro Guerrero.

Carah Ong Whaley，弗吉尼亚大学政治中心学术项目官员

尽管深度伪造存在重大风险，它们也有一些合法用途，如在视频游戏音频和娱乐领域，以及客户支持和来电响应系统，例如呼叫转移和接待服务。 另见: Alec Gramont.

另请阅读：深度伪造是生成式AI吗？

深度伪造技术的应用

负面应用

敲诈和名誉损害：当目标图像被置于非法、不当或其他有损声誉的场景时，即发生此类情况，例如欺骗公众、参与露骨的性活动或吸毒。这些视频被用来胁迫受害者、损害个人名誉、寻求报复或进行网络欺凌。敲诈或报复的常见形式是非自愿的深度伪造色情内容，通常称为报复性色情。2019年，一款名为DeepNude的软件被开发出来，只需点击一下就能将女性渲染成裸体，并迅速以恶意目的病毒式传播，特别是骚扰女性。 另见: AI芯片通胀：设备制造商受挤压，影响超越数据中心.

虚假证据：伪造的深度伪造图像或音频可以作为法律程序中的证据，错误地牵连个人或为其洗脱不当行为。

欺诈：深度伪造被用来冒充个人，通常是为了获取敏感个人信息，如银行账户信息或信用卡号。这种冒充可能延伸到高级公司高管或有权限访问机密数据的员工，构成重大网络安全威胁。

据IEEE Spectrum报道，“在生物识别公司iProov进行的网络安全行业调查中，超过四分之三的受访者表示，身份欺诈是对深度伪造的最大担忧。”

虚假信息和政治操纵：深度伪造视频中的政客或可信人物被用来操纵公众舆论、制造混乱，通常助长了虚假新闻的传播。几乎所有的世界领导人，包括美国前总统巴拉克·奥巴马、美国现任总统唐纳德·特朗普、美国政治家南希·佩洛西、德国总理安格拉·默克尔，都曾以某种方式被虚假视频利用，甚至Facebook创始人马克·扎克伯格也遭遇过类似事件。涉及乌克兰总统弗拉基米尔·泽连斯基的深度伪造视频等例子表明，深度伪造有可能加剧冲突和破坏稳定局势。

股市操纵：伪造的深度伪造内容可以影响股价，虚假视频中高管发表有损公司的言论会导致股价下跌。相反，宣传技术突破或产品发布的伪造视频可以人为抬高股价。

小测试

深度伪造视频中的政客或可信人物如何助长虚假信息？
A. 通过向公众提供准确信息
B. 通过操纵公众舆论和制造混乱
C. 通过揭露政治腐败
D. 通过提高政府透明度

正确答案在文章末尾。

正面应用

艺术：深度伪造被用来利用现有艺术家作品的录音生成新音乐作品，为音乐创作和混音提供了创新方法。而且，深度伪造技术使艺术创作民主化，让更广泛的人群能够接触到。它使艺术家能够创作创新作品，以独特的体验吸引观众。例如，佛罗里达州圣彼得堡的达利博物馆利用深度伪造技术让萨尔瓦多·达利复活，让参观者通过人工智能与这位著名艺术家互动。

数字营销：深度伪造技术越来越多地应用于数字营销策略，以创造引人入胜的沉浸式内容。通过利用深度伪造，营销人员可以开发高度个性化的广告和促销材料，根据个人偏好和人口统计特征进行定制。例如，深度伪造可用于将产品图像叠加到现实生活场景中，让消费者在自己的环境中可视化产品的好处。此外，深度伪造技术能够创建引人入胜的故事叙述活动，增强品牌互动并提高客户忠诚度。此外，深度伪造让营销人员能够以创新方式重新利用现有内容，最大化广告活动的投资回报。

梅加特伦德大学研究生教育与科研副院长、市场营销、传播与管理学教授Radoslav Baltezarevic表示：“这项技术越来越多地应用于数字营销，使公司能够降低成本，更容易设计促销活动，个性化其产品，为消费者提供独特体验，同时也提高了目标市场对某些具有社会重要性的敏感问题的认识。”

这项技术越来越多地应用于数字营销，使公司能够降低成本，更容易设计促销活动，个性化其产品，为消费者提供独特体验，同时也提高了目标市场对某些具有社会重要性的敏感问题的认识。

Radoslav Baltezarevic，研究生教育与科研副院长

来电响应服务：这些服务利用深度伪造为呼叫者查询提供个性化响应，增强客户互动和满意度，特别是在呼叫转移和接待任务中。

客户电话支持：利用深度伪造技术生成的合成语音，客户支持服务可以简化例行任务，如查询账户余额或提出投诉，提高效率和用户体验。

娱乐：娱乐产业将深度伪造用于多种目的，包括为电影和视频游戏中的场景克隆和操纵演员的声音。当后勤限制使传统拍摄变得困难，或演员在后期制作时无法进行录音时，这种方法显得尤为重要。此外，深度伪造有助于讽刺和戏仿内容，为观众提供幽默的见解和对熟悉人物的创意诠释。一个典型的例子是2023年深度伪造视频，将德韦恩·“巨石”·约翰逊作为探险者朵拉，展示了深度伪造技术的趣味实验潜力。

另请阅读：深度伪造AI是否违法？

深度伪造检测工具与技术

深度伪造检测工具是一种软件或系统，用于识别和检测深度伪造视频或图像。它通常利用各种方法分析数字内容，以确定其是否被操纵或由AI生成。

随着深度伪造数量的增加，深度伪造检测软件越来越受欢迎，以防止虚假视频和音频的有害影响。全球深度伪造检测软件市场估计从2024年到2029年的复合年增长率为38.3%。而虚假图像检测市场规模预计将从2024年的6亿美元增长到2029年的39亿美元，预测期内的复合年增长率为41.6%。

最近，OpenAI推出了一款工具，用于检测其AI生成器DALL-E创建的图像，因为专家警告AI生成的深度伪造可能影响选举。该检测器对DALL-E图像有效，但对其他图像无效，将由虚假信息研究人员进行测试。OpenAI还在研究AI内容水印，并加入了像C2PA这样的数字内容真实性倡议。

在OpenAI推出其深度伪造检测器之前，已经有一些性能良好的检测器可用。

Sentinel：Sentinel是一个基于AI的保护平台，帮助民主政府、国防机构和企业阻止深度伪造的威胁。整个欧洲的知名组织依赖Sentinel的技术进行防御。其机制允许用户通过其网站或API提交数字内容，然后对其进行自动审查以检测AI篡改。该系统能辨别内容的真实性，并呈现所做更改的图形表示。

Deepware：Deepware是一款用户友好型工具，旨在检测深度伪造视频。它使用先进的机器学习算法扫描视频内容，寻找操纵迹象，如不自然的面部动作以及光照和阴影的不一致性。它提供一个概率评分，指示视频为深度伪造的可能性，帮助用户快速评估其真实性。

Sensity：Sensity提供一个综合平台，用于实时检测深度伪造。它结合计算机视觉和深度学习技术来分析视频帧和音频信号。Sensity的技术被政府和媒体组织用于防止虚假新闻和恶意内容的传播。

微软视频验证器工具：微软视频验证器工具是一个强大的资源，能够仔细检查静态图像和视频内容，提供指示潜在操纵可能性的置信度评分。它熟练地识别深度伪造固有的融合边界，以及人眼无法察觉的细微灰度差异。此外，它能够即时提供这一置信度评分，便于快速识别深度伪造。

英特尔FakeCatcher：FakeCatcher具有令人印象深刻的96%准确率，在几毫秒内提供结果。它由英特尔与纽约州立大学宾汉姆顿分校的Umur Ciftci合作开发，使用英特尔的硬件和软件，在服务器上运行，并通过基于网络的界面访问。FakeCatcher采用了一种新颖的方法，通过仔细检查真实视频中定义人类行为的真实线索。它关注微妙的指标，如视频像素中明显的“血流”。随着血液循环，静脉发生颜色变化，这些细微的信号从不同面部区域收集。复杂的算法然后将这些信号转化为时空地图。通过深度学习技术，FakeCatcher迅速确定视频的真实性，区分真实和伪造内容。

正确答案是B，通过操纵公众舆论和制造混乱。