How criminals used AI face apps to swindle users: A China case study exposes the risks

广州多名个人因利用AI非法出售公民个人信息、制作虚假人脸识别视频被判刑并处以罚款。关于妙鸭的成功，业内人士推测该应用单日收入可能超过10万元。瑞莱智能高级产品经理张天翼（清华大学人工智能研究院孵化的初创公司）强调，在大模型广泛应用的AIGC时代，数据安全至关重要。近日，广州互联网法院公布了一起利用AI将照片转为视频以绕过人脸识别安全软件的案例。所谓的“验头”和“过脸”服务允许用户上传照片，然后由一位仅知姓名为郑某的男子将其制作为人脸动态视频，用于访问他人的银行账户和支付服务等。考虑到微信和支付宝等支付平台在中国普遍使用人脸识别作为安全措施，这会让不法分子能够上传朋友、同事甚至陌生人的照片，从而侵入银行账户和支付服务。据郑某供述，他通过社交平台从不特定来源购买了与某些身份证号对应的个人照片，每张售价约15至20元。另三名犯罪分子任某、戴某和陈某随后从郑某团伙处购买公民个人信息，支付价格从每张50元到100元不等。他们利用人工智能软件制作了能够点头、眨眼及其他动作的虚假动态人脸识别视频。这些视频被用于解封账户和在某些应用上进行实名认证，从而获取非法利润。“过脸”服务涉及获取人脸信息并使用合成软件生成模拟动态视频。例如，当前人脸验证过程中所需的动作，如向左或向右看、张嘴、歪头等，都可以通过合成视频生成。在进入应用或账户验证的人脸验证阶段时，如果视频中的人脸清晰度达到要求标准，系统就会认为是真人操作，从而成功绕过人脸验证阶段，达到盗取账户的目的。据嫌疑人供认，在绕过人脸识别系统后，犯罪分子可以访问他人微信等应用的账户，获取聊天记录、支付记录、行动轨迹等个人隐私信息。经司法审查，四名被告因非法处理超过2000条个人信息，非法获利超过1.5万美元，被判处一年二个月至一年不等的有期徒刑，并各处了罚金。另请阅读：通用人工智能末日？别担心，炒作多于现实 AI换脸应用热度不减 该案引发了中国关于人脸识别应用中个人信息泄露和滥用的广泛讨论，这类应用数量众多且极为流行。人工智能换脸软件主要利用深度伪造（deepfakes）等技术。市场上可获取的AI换脸应用如Hugging Face、Reface、DeepArt、FaceShow和DeepFaceLive等。在中国，AI换脸技术过去曾因隐私问题受到批评。去年八月，AI写真应用“妙鸭相机”突然爆红，社交媒体上充斥着用户分享的AI生成写真。-用户应用右下角的照片转换为AI照片- 制作数字分身只需支付1.39美元，与专业摄影工作室的高昂费用相比几乎可以忽略不计。随着参与人数增加，该应用的处理速度变慢，据报道上线第二天晚上就有超过2000人排队等待生成写真。关于妙鸭的成功，业内人士推测该应用单日收入可能超过10万元。据妙鸭团队称，该应用背后的AI模型名为“Tiziano”，灵感来自肖像艺术大师提齐亚诺·维切利奥。虽然官方未透露模型的技术细节，但妙鸭很可能基于SD等开源大模型，并针对用户定制进行了微调。使用妙鸭，用户需上传一张清晰的正面照片和至少20张不同光线、背景、角度和表情的附加照片。数字分身创建完成后，用户可以从超过30个公开素材背景中选择写真样式，包括复古、森林、商务和油画风格。最初，妙鸭的条款允许不受限制地使用AI生成内容用于各种目的，引发了公众强烈抗议。但该公司未明确说明信息将如何被使用。后来该公司道歉并修改了条款，确保照片仅用于数字分身制作，完成后自动删除。修改后的条款明确禁止非法留存可识别信息、基于输入信息进行用户画像，以及向第三方提供用户输入信息。“现在说AI写真会取代线下照相馆还为时过早。”北京社会科学院副研究员王鹏 北京社会科学院副研究员王鹏认为，虽然AI写真在AIGC时代获得了一定热度，但要形成真正的商业模式仍需大量努力。推理所需的计算力远超训练，计算成本仍然是AIGC应用的瓶颈。“现在说AI写真会取代线下照相馆还为时过早，”他也这样说道。 AI换脸服务提供者的合规要求 瑞莱智能高级产品经理张天翼（清华大学人工智能研究院孵化的初创公司）强调，在大模型广泛应用的AIGC时代，数据安全至关重要。“滥用AIGC模型可能导致内容合规问题，包括深度伪造和扩散模型生成的欺骗性内容，这些内容会误导用户并产生不良社会影响。” 近期，从中央到地方，中国迅速出台了一系列关于AIGC治理的监管文件： AI算法备案 如前所述，AI换脸软件依赖于深度伪造技术，这属于在中国境内提供具有舆论或社会动员能力的AIGC服务范畴。提供者必须按照《互联网信息服务算法推荐管理规定》完成算法备案程序。 个人信息保护影响评估（PIA） 在提供服务过程中处理敏感个人信息的AIGC服务提供者，必须进行PIA，以评估其数据处理活动的合法合规性。PIA应评估个人信息处理的合法性、必要性和适当性，对个人权利的潜在影响、安全风险以及保护措施的有效性。PIA报告和所采取行动的记录需至少保存三年。根据《个人信息保护法》，PIA是一项法律义务。未能履行该义务的AI换脸服务提供者可能面临有关部门的责令改正、警告、没收违法所得、罚款等处罚。 AI生成内容的标识 作为AIGC服务提供者的AI换脸服务提供者，必须按照《互联网信息服务深度合成管理规定》对生成内容进行标识。全国信息安全标准化技术委员会于八月发布了关于AIGC服务内容标识的指南，要求AI生成的图像、音频和视频内容必须在隐式水印中至少包含服务提供者的名称。 最后 AI换脸产品作为人工智能的重要应用，为大量用户带来了新颖体验。然而，其合规发展面临重大挑战。一方面，AI换脸产品可能成为恶意活动的温床，引发如近期的“一键脱衣”事件、人脸信息泄露导致的肖像权侵权、版权侵犯及欺诈风险等担忧。另一方面，除前述合规义务外，处理人脸信息的AI换脸产品难以获得所有相关实体的版权、肖像权等权利的授权。对于AI换脸服务提供者而言，在当前法律框架内确保个人信息得到妥善处理，完成个人信息安全影响评估和备案等必要的监管要求，并打造符合主流价值观的应用，是艰巨的任务。前路充满挑战，但责任重大。 另见: AfriNIC会员名册神秘消失.