How criminals used AI face apps to swindle users: A China case study exposes the risks

Des individus à Guangzhou ont été condamnés pour avoir vendu illégalement des informations personnelles de citoyens en utilisant l’IA, permettant de créer de fausses vidéos de reconnaissance faciale, ce qui a entraîné des peines de prison et des amendes. En ce qui concerne le succès de Miaoya, des initiés du secteur ont spéculé que l’application aurait pu gagner plus de 100 000 ¥ en une seule journée. Zhang Tianyi, chef de produit senior chez RuiLai Intelligent, une start-up incubée par l’Institut de recherche en IA de l’Université Tsinghua, souligne l’importance de sécuriser les données à l’ère de l’AIGC avec l’application généralisée des grands modèles. Première poursuite civile d’intérêt public en Chine impliquant la reconnaissance faciale Récemment, le tribunal Internet de Guangzhou a publié des informations sur une affaire où l’IA avait été utilisée pour transformer des photos en vidéos, afin de contourner les logiciels de sécurité à balayage facial. Les soi-disant entreprises, appelées « Check Head » et « Pass Face », permettaient aux utilisateurs de télécharger des photos, que l’homme, désigné uniquement sous le nom de Zheng, transformait ensuite en vidéos animées du visage de la personne pour accéder à leurs comptes bancaires et services de paiement, entre autres. Étant donné la prévalence des plateformes de paiement comme WeChat et Alipay en Chine, qui utilisent la reconnaissance faciale comme mesure de sécurité, cela permettrait à des personnes mal intentionnées de télécharger des photos de leurs amis, collègues ou même d’inconnus pour accéder à des comptes bancaires et services de paiement. Selon les aveux de Zheng, il a acheté des photos personnelles correspondant à certains numéros de carte d’identité auprès de sources non spécifiées via des plateformes sociales, les proposant pour environ 15 à 20 yuans par photo. Trois autres coupables, nommés Ren, Dai et Chen, ont ensuite acheté les informations personnelles des citoyens auprès du groupe de Zheng, payant des montants variables entre 50 et 100 yuans par photo. Ils ont utilisé des logiciels d’intelligence artificielle pour créer de fausses vidéos dynamiques de reconnaissance faciale, capables de hocher la tête, de cligner des yeux et d’autres mouvements. Ces vidéos ont été utilisées pour débloquer des comptes et vérifier l’authentification par nom réel sur certaines applications, générant des profits illégaux. Le service « Pass Face » consiste à prendre des informations faciales et à utiliser un logiciel de synthèse pour créer des vidéos dynamiques simulées d’une personne. Par exemple, les actions requises dans les processus de vérification faciale actuels, comme regarder à gauche ou à droite, ouvrir la bouche ou incliner la tête, peuvent être générées par des vidéos synthétisées. Lors de l’étape de vérification faciale dans les applications ou de la vérification de compte, si la clarté faciale de la vidéo répond aux normes requises, le système la considérera comme une opération humaine authentique, contournant ainsi avec succès l’étape de vérification faciale et atteignant l’objectif de piratage de comptes. Selon les aveux du suspect, après avoir contourné les systèmes de reconnaissance faciale, les criminels peuvent accéder aux comptes d’autres personnes sur des applications comme WeChat, obtenant des informations personnelles et privées telles que les historiques de discussion, les enregistrements de paiement et les trajectoires de mouvement. Après examen judiciaire, les quatre individus ont été reconnus coupables de traitement illégal de plus de 2 000 informations personnelles, avec des gains illicites dépassant 15 000 $. Ils ont été condamnés à des peines de prison allant d’un an et deux mois à un an, et des amendes leur ont été infligées. À lire aussi: Apocalypse de l’IA générale ? Détendez-vous, c’est plus de la hype que de la réalité Popularité continue des applications de permutation de visage par IA L’affaire a suscité un vaste débat en Chine sur l’exposition et l’utilisation abusive potentielle des informations personnelles dans ces applications de reconnaissance faciale, qui sont nombreuses et incroyablement populaires. Les logiciels de permutation de visage par intelligence artificielle utilisent principalement des techniques comme les deepfakes. Les applications commercialisées de permutation de visage par IA telles que Hugging Face, Reface, DeepArt, FaceShow et DeepFaceLive sont largement disponibles. En Chine, les technologies de permutation de visage par IA ont été critiquées par le passé en raison de préoccupations liées à la vie privée. En août dernier, l’application de portrait IA « Miaoya Camera » a soudainement gagné en popularité, inondant les réseaux sociaux d’utilisateurs partageant des portraits générés par IA. -L’utilisateur applique la photo dans le coin inférieur droit pour la convertir en photo IA- Le tarif initial de 1,39 $ pour créer un avatar numérique, comparé aux coûts élevés des studios de photographie professionnels, semblait négligeable. À mesure que de plus en plus de personnes rejoignaient, la vitesse de traitement de l’application a ralenti, avec des rapports faisant état de plus de 2 000 personnes en attente pour la génération de portrait le deuxième soir de son lancement. En ce qui concerne le succès de Miaoya, les initiés du secteur ont spéculé que l’application aurait pu gagner plus de 100 000 ¥ par jour. Selon l’équipe de Miaoya, le modèle d’IA derrière l’application s’appelle « Tiziano », inspiré du maître de l’art du portrait Tiziano Vecellio. Bien que les détails officiels de la technologie du modèle n’aient pas été divulgués, il est probable que Miaoya se soit appuyé sur de grands modèles open source comme SD, en les affinant pour la personnalisation par l’utilisateur. Pour utiliser Miaoya, les utilisateurs doivent télécharger une photo de face nette et au moins 20 photos supplémentaires avec des éclairages, arrière-plans, angles et expressions variés. Une fois l’avatar numérique créé, les utilisateurs peuvent choisir parmi plus de 30 contextes de portraits provenant de sources publiques, y compris des styles vintage, sur le thème de la forêt, professionnel et de peinture à l’huile. Initialement, les conditions de Miaoya permettaient l’utilisation sans restriction du contenu généré par IA à diverses fins, provoquant un tollé public. Mais l’entreprise n’a pas donné de réponse claire sur la manière dont les informations seront utilisées. L’entreprise a ensuite présenté des excuses et révisé les conditions, garantissant que les photos ne sont utilisées que pour la création d’avatars numériques et automatiquement supprimées une fois le processus terminé. Les conditions révisées interdisent explicitement la conservation illégale d’informations identifiables, le profilage des utilisateurs basé sur les informations saisies et la fourniture des informations saisies par l’utilisateur à des tiers. « Il est trop tôt pour dire que les portraits IA vont remplacer les cabines photo hors ligne. » Wang Peng, chercheur associé à l’Académie des sciences sociales de Pékin Wang Peng, chercheur associé à l’Académie des sciences sociales de Pékin, estime que bien que les portraits IA aient gagné en popularité à l’ère de l’AIGC, la formation d’un véritable modèle économique nécessite encore des efforts considérables. La demande de puissance de calcul pour l’inférence dépasse celle de l’entraînement, et le coût de la puissance de calcul reste un goulot d’étranglement pour les applications AIGC. « Il est trop tôt pour dire que les portraits IA vont remplacer les cabines photo hors ligne », a-t-il également déclaré. Exigences de conformité pour les fournisseurs de services de permutation de visage par IA Zhang Tianyi, chef de produit senior chez RuiLai Intelligent, une start-up incubée par l’Institut de recherche en IA de l’Université Tsinghua, souligne l’importance de sécuriser les données à l’ère de l’AIGC avec l’application généralisée des grands modèles. « L’utilisation abusive des modèles AIGC peut entraîner des problèmes de conformité du contenu, y compris du contenu trompeur généré par des deepfakes et des modèles de diffusion, qui peuvent induire les utilisateurs en erreur et avoir des effets sociaux néfastes. » Des documents réglementaires récents sur la gouvernance de l’AIGC ont été rapidement publiés par les autorités centrales et locales en Chine: Enregistrement des algorithmes d’IA Comme mentionné précédemment, les logiciels de permutation de visage par IA reposent sur la technologie deepfake, qui relève de la catégorie des services AIGC ayant des capacités d’opinion publique ou de mobilisation sociale en Chine. Les fournisseurs doivent suivre les procédures d’enregistrement des algorithmes décrites dans le « Règlement sur la gestion des recommandations algorithmiques des services d’information Internet ». Évaluation de l’impact sur la protection des informations personnelles (PIA) Les fournisseurs de services AIGC traitant des informations personnelles sensibles lors de la prestation de services doivent effectuer une PIA pour évaluer les aspects juridiques et de conformité de leur traitement des données. La PIA doit évaluer la légalité, la nécessité et la pertinence du traitement des informations personnelles, l’impact potentiel sur les droits individuels, les risques de sécurité et l’efficacité des mesures de protection. Les rapports PIA et les enregistrements des actions entreprises doivent être conservés pendant au moins trois ans. La PIA est une obligation légale en vertu de la loi sur la protection des informations personnelles. Les fournisseurs de services de permutation de visage par IA qui ne remplissent pas cette obligation peuvent faire l’objet d’ordres de correction, d’avertissements, de confiscation de gains illicites, d’amendes et d’autres sanctions de la part des autorités compétentes. Identification du contenu généré par l’IA Les fournisseurs de services de permutation de visage par IA, classés comme fournisseurs de services AIGC, doivent identifier le contenu généré conformément au « Règlement sur la gestion de la synthèse profonde des services d’information Internet ». Le Comité technique national de normalisation de la sécurité de l’information a publié en août des lignes directrices sur l’identification du contenu des services AIGC, exigeant l’inclusion au moins du nom du fournisseur de services dans des filigranes implicites sur les images, l’audio et le contenu vidéo générés par l’IA. En fin de compte, les produits de permutation de visage par IA, en tant qu’application significative de l’intelligence artificielle, ont apporté une expérience nouvelle à un grand nombre d’utilisateurs. Cependant, leur développement conforme est confronté à des défis importants. D’une part, les produits de permutation de visage par IA peuvent devenir des terrains propices à des activités malveillantes, entraînant des préoccupations telles que les récents incidents de « déshabillage en un clic », les fuites d’informations faciales causant des atteintes aux droits à l’image, les violations de droits d’auteur et les risques de fraude. D’autre part, en plus des obligations de conformité mentionnées précédemment, les produits de permutation de visage par IA traitant des informations faciales ont du mal à obtenir l’autorisation pour les droits d’auteur, les droits à l’image et autres droits de toutes les entités impliquées. Pour les fournisseurs de services de permutation de visage par IA, assurer un traitement approprié des informations personnelles dans le cadre juridique actuel, remplir les exigences réglementaires nécessaires telles que les évaluations d’impact sur la sécurité des informations personnelles et les enregistrements, et créer des applications conformes aux valeurs dominantes sont des tâches redoutables. La route à venir est difficile, mais la responsabilité est substantielle. Voir aussi: Registre des membres disparaissant de l'AfriNIC.