犯罪分子如何利用 AI 换脸应用诈骗用户：中国案例研究揭示风险

BTW Media 收录《犯罪分子如何利用 AI 换脸应用诈骗用户：中国案例研究揭示风险》一文，因为公开证据显示该主题与互联网基础设施、治理、运营依赖或市场可见度相关。

广州多名被告因利用人工智能非法出售公民个人信息、允许用户创建虚假人脸识别视频而被判刑，并被处以罚款。关于 Miaoya Camera 的成功，业内人士推测该应用单日收入可能超过十万元人民币。清华大学人工智能研究院孵化的初创企业 RuiLai Intelligent 高级产品经理张天翼强调，在 AIGC 时代，随着大模型的广泛应用，确保数据安全至关重要。中国首例人脸识别民事公益诉讼近日，Guangzhou Internet Court 公布了一起利用人工智能将照片转化为视频，以绕过人脸扫描安全软件的案件。所谓的“Check Head”和“Pass Face”业务，允许用户上传照片，随后一名仅知姓名为郑某的男子将这些照片转化为该人人脸的动态视频，用于进入其银行账户和支付服务等。鉴于微信和支付宝等支付平台在中国普及，且均采用人脸识别作为安全措施，这会使不法分子得以上传朋友、同事甚至陌生人的照片，从而侵入银行账户和支付服务。据郑某供述，他通过社交平台从不特定渠道购买了与特定身份证号对应的个人照片，以每张约 15 至 20 元的价格提供。另外三名犯罪人被命名为任某、戴某和陈某，他们随后从郑某团伙处购买了公民个人信息，每张照片支付 50 至 100 元不等。他们利用人工智能软件制作了能够点头、眨眼等动作的虚假动态人脸识别视频。这些视频被用于解封账户和对某些应用进行实名认证，从而非法获利。“Pass

Face”服务涉及获取人脸信息，并使用合成软件生成人物模拟动态视频。例如，当前人脸验证过程中要求的动作，如左右看、张嘴或歪头，都可以通过合成视频生成。在应用或账户验证进入人脸验证阶段时，如果视频中的人脸清晰度达到要求标准，系统便会认为这是真人操作，从而成功绕过人脸验证阶段，达到盗取账户的目的。据嫌疑人供述，在绕过人脸识别系统后，犯罪分子可以进入微信等应用中的他人账户，获取聊天记录、支付记录、行踪轨迹等个人隐私和信息。经司法审查，四人被判非法处理个人信息超 2000 条，违法所得逾 15000 美元。他们分别被判处一年二个月至一年不等的有期徒刑，并各处罚金。另请阅读：通用人工智能末日？淡定，不过是炒作多于现实 AI 换脸应用热潮不减 此案在中国引发了巨大争议，涉及这些非常流行且数量众多的人脸识别应用中个人信息的暴露和潜在滥用问题。人工智能换脸软件主要利用深度伪造（deepfakes）等技术。市场上广泛存在 Hugging Face、Reface、DeepArt、FaceShow 和 DeepFaceLive 等 AI 换脸应用。在中国，AI 换脸技术曾因隐私问题受到批评。去年 8 月，一款名为“Miaoya Camera”的 AI 肖像应用突然走红，社交媒体上充斥着用户分享的 AI 生成肖像。用户点击右下角照片即可转换为 AI 照片。制作数字头像的初始费用为 1.39

美元，与专业摄影棚的高昂费用相比显得微不足道。随着参与人数的增加，应用处理速度变慢，据报道，在应用上线第二天晚上，就有超过 2000 人排队等候生成肖像。关于 Miaoya Camera 的成功，业内人士推测该应用每天可能赚取超过十万元人民币。据 Miaoya 团队介绍，应用背后的 AI 模型名为“Tiziano”，灵感来源于肖像画大师 Tiziano Vecellio。虽然该模型技术的官方细节未予披露，但 Miaoya 可能基于 SD 等开源大模型进行构建，并对用户定制进行了微调。要使用 Miaoya Camera，用户必须上传一张清晰正面照和至少 20 张具有不同光线、背景、角度和表情的附加照片。数字头像生成后，用户可以从超过 30 种公共源肖像背景中进行选择，包括复古、森林主题、商务和油画风格。最初，Miaoya Camera 的条款允许用户为各种目的无限制地使用 AI 生成内容，引发了公众争议。但该公司尚未就信息如何使用给出明确答复。该公司随后发表道歉声明并修改了条款，确保照片仅用于数字头像生成，并在生成后自动删除。修改后的条款明确禁止非法保留可识别的信息，禁止基于用户输入信息进行用户画像，以及禁止向第三方提供用户输入信息。“现在说 AI 肖像将取代线下照相馆还为时过早。” Beijing Academy of Social Sciences 副研究员王鹏认为，尽管 AI 肖像在 AIGC

时代获得了流行，但形成真正的商业模式仍需大量努力。推理阶段对算力的需求超过训练阶段，算力成本仍然是 AIGC 应用的瓶颈。“现在说 AI 肖像将取代线下照相馆还为时过早，”他还表示。AI 换脸服务提供商的合规要求 清华大学人工智能研究院孵化的初创企业 RuiLai Intelligent 高级产品经理张天翼强调，在 AIGC 时代，随着大模型的广泛应用，确保数据安全至关重要。“滥用 AIGC 模型可能导致内容合规问题，包括深度伪造和扩散模型生成的欺骗性内容，这些内容可能误导用户并产生不良社会影响。” 近期，中国从中央到地方密集出台了多项 AIGC 治理的监管文件： AI 算法备案 如前所述，AI 换脸软件依赖于深度伪造技术，这属于在中国境内提供具有舆论或社会动员能力的 AIGC 服务范畴。提供者必须遵循《互联网信息服务算法推荐管理规定》中规定的算法备案程序。

个人信息保护影响评估（PIA） 在提供服务过程中处理敏感个人信息的 AIGC 服务提供者，必须进行 PIA，以评估其数据处理的法律合规方面。PIA 应当评估个人信息处理的合法性、必要性和适当性，对个人权利的潜在影响，安全风险以及保护措施的有效性。PIA 报告和处理情况的记录应当至少保存三年。PIA 是《个人信息保护法》下的法定义务。未能履行该义务的 AI 换脸服务提供者可能面临有关部门的责令改正、警告、没收违法所得、罚款等处罚。 AI 生成内容的标识 作为 AIGC 服务提供者，AI 换脸服务提供者必须按照《互联网信息服务深度合成管理规定》的要求对生成内容进行标识。国家信息安全标准化技术委员会在 8 月发布了关于 AIGC 服务内容标识的指南，要求对 AI 生成的图像、音频和视频内容的隐式水印中至少包含服务提供者的名称。 结语 AI 换脸产品作为人工智能的重要应用，为广大用户带来了新颖的体验。然而，其合规发展面临重大挑战。一方面，AI 换脸产品可能成为恶意活动的温床，导致如近期的“一键脱衣”事件、人脸信息泄露导致的肖像权侵权、版权侵犯和诈骗风险等担忧。另一方面，除前述合规义务外，涉及人脸信息的 AI 换脸产品很难获取所有相关实体的版权、肖像权和其他权利的授权。对于 AI 换脸服务提供者而言，在当前法律框架内确保个人信息的正当处理，完成必要的监管要求，如个人信息安全影响评估和备案，并打造符合主流价值观的应用，都是艰巨的任务。前路艰难，但责任重大。