Comment des criminels ont utilisé des apps IA de visage pour escroquer les utilisateurs: une étude de cas en Chine expose les risques

Comment des criminels ont utilisé des apps IA de visage pour escroquer les utilisateurs: une étude de cas en Chine expose les risques est profilé par BTW Media parce que des preuves publiées le relient à l'infrastructure internet, à la gouvernance, aux dépendances opérationnelles ou à la visibilité du marché.

Des individus à Guangzhou ont été condamnés pour avoir vendu illégalement des informations personnelles de citoyens en utilisant l’IA, permettant de créer de fausses vidéos de reconnaissance faciale, entraînant des peines de prison et des amendes. Concernant le succès de Miaoya, des initiés du secteur ont spéculé que l'application aurait pu gagner plus de 100 000 ¥ en une seule journée. Zhang Tianyi, chef de produit senior chez RuiLai Intelligent, une start-up incubée par l'Institut de recherche en IA de l'Université Tsinghua, souligne l'importance de sécuriser les données à l'ère de l'AIGC avec l'application généralisée des grands modèles.

Le premier procès civil d'intérêt public en Chine impliquant la reconnaissance faciale Récemment, le tribunal de l'Internet de Guangzhou a publié des informations sur une affaire où l'IA avait été utilisée pour transformer des photos en vidéos, afin de contourner les logiciels de sécurité de balayage facial. Les soi-disant entreprises, appelées « Check Head » et « Pass Face », permettaient aux utilisateurs de télécharger des photos, que l'homme, identifié uniquement comme Zheng, transformait ensuite en vidéos animées du visage de la personne pour accéder à leurs comptes bancaires et services de paiement, entre autres.

Étant donné la prévalence des plateformes de paiement comme WeChat et Alipay en Chine, qui utilisent la reconnaissance faciale comme mesure de sécurité, cela permettrait à des personnes malveillantes de télécharger des photos de leurs amis, collègues ou même d'inconnus, pour accéder aux comptes bancaires et services de paiement. Selon la confession de Zheng, il achetait des photos personnelles correspondant à certains numéros de carte d'identité auprès de sources non spécifiées via des plateformes sociales, les proposant pour environ 15 à 20 yuans par photo.

Trois autres coupables, nommés Ren, Dai et Chen, achetaient ensuite les informations personnelles des citoyens auprès du groupe de Zheng, en payant des montants variables entre 50 et 100 yuans par photo. Ils utilisaient des logiciels d'intelligence artificielle pour créer de fausses vidéos dynamiques de reconnaissance faciale, capables de hocher la tête, de cligner des yeux et d'autres mouvements. Ces vidéos étaient utilisées pour débloquer des comptes et vérifier l'authentification du nom réel sur certaines applications, générant des profits illégaux.

Le service « Pass Face » consiste à prendre des informations faciales et à utiliser un logiciel de synthèse pour créer des vidéos dynamiques simulées d'une personne. Par exemple, des actions requises dans les processus de vérification faciale actuels, comme regarder à gauche ou à droite, ouvrir la bouche ou pencher la tête, peuvent être générées par des vidéos synthétisées.

Lors de l'étape de vérification faciale dans les applications ou la vérification de compte, si la clarté faciale de la vidéo atteint les normes requises, le système la considérera comme une véritable opération humaine, contournant avec succès l'étape de vérification faciale et atteignant l'objectif de piratage de comptes.

Selon l'aveu du suspect, après avoir contourné les systèmes de reconnaissance faciale, les criminels peuvent accéder aux comptes d'autres personnes sur des applications comme WeChat, obtenant des informations personnelles privées telles que les historiques de chat, les enregistrements de paiement et les trajectoires de déplacement. Après examen judiciaire, les quatre individus ont été reconnus coupables d'avoir traité illégalement plus de 2 000 informations personnelles, avec des gains illicites dépassant 15 000 $. Ils ont été condamnés à des peines de prison allant d'un an et deux mois à un an, et des amendes ont été imposées à chacun d'eux.

À lire aussi: Apocalypse de l'IA générale? Détendez-vous, c'est plus de la hype que de la réalité. Popularité ininterrompue des applications de permutation de visage par IA L'affaire a suscité un vaste débat en Chine sur l'exposition et l'utilisation abusive potentielle des informations personnelles dans ces applications de reconnaissance faciale, qui sont nombreuses et incroyablement populaires. Les logiciels de permutation de visage par intelligence artificielle utilisent principalement des techniques telles que les deepfakes.

Des applications commercialisées de permutation de visage par IA telles que Hugging Face, Reface, DeepArt, FaceShow et DeepFaceLive sont largement disponibles. En Chine, les technologies de permutation de visage par IA ont été critiquées par le passé en raison de préoccupations liées à la vie privée. En août dernier, l'application de portraits IA « Miaoya Camera » a soudainement gagné en popularité, inondant les médias sociaux de portraits générés par IA partagés par les utilisateurs.

- L'utilisateur applique la photo dans le coin inférieur droit pour la convertir en photo IA - Le tarif initial de 1,39 $ pour créer un avatar numérique, comparé aux coûts élevés des studios de photographie professionnels, semblait négligeable. Au fur et à mesure que de plus en plus de personnes rejoignaient, la vitesse de traitement de l'application ralentissait, avec des rapports faisant état de plus de 2 000 personnes en attente pour la génération de portraits le deuxième soir de son lancement. Concernant le succès de Miaoya, des initiés du secteur spéculaient que l'application aurait pu gagner plus de 100 000 ¥ chaque jour.

Selon l'équipe de Miaoya, le modèle d'IA derrière l'application s'appelle « Tiziano », inspiré par le maître de l'art du portrait Tiziano Vecellio. Bien que les détails techniques du modèle n'aient pas été divulgués officiellement, il est probable que Miaoya se soit appuyé sur des grands modèles open source comme SD, en les affinant pour la personnalisation par l'utilisateur. Pour utiliser Miaoya, les utilisateurs doivent télécharger une photo de face claire et au moins 20 photos supplémentaires avec un éclairage, des arrière-plans, des angles et des expressions variés.

Une fois l'avatar numérique créé, les utilisateurs peuvent choisir parmi plus de 30 contextes de sources publiques pour les portraits, y compris les styles vintage, sur le thème de la forêt, professionnel et peinture à l'huile. Au départ, les conditions de Miaoya autorisaient l'utilisation sans restriction du contenu généré par IA à diverses fins, ce qui a suscité un tollé général. Mais l'entreprise n'a pas donné de réponse claire sur la manière dont les informations seront utilisées.

L'entreprise a ensuite présenté des excuses et révisé les conditions, garantissant que les photos ne sont utilisées que pour la création d'avatars numériques et sont automatiquement supprimées une fois terminées. Les conditions révisées interdisent explicitement la conservation illégale d'informations identifiables, l'établissement de profils d'utilisateurs basé sur les informations saisies et la fourniture d'informations saisies par l'utilisateur à des tiers. « Il est trop tôt pour dire que les portraits IA vont remplacer les cabines photo hors ligne.

» Wang Peng, chercheur associé à l'Académie des sciences sociales de Pékin Wang Peng, chercheur associé à l'Académie des sciences sociales de Pékin, estime que bien que les portraits IA aient gagné en popularité à l'ère de l'AIGC, la formation d'un véritable modèle commercial nécessite encore des efforts considérables. La demande de puissance de calcul pour l'inférence dépasse celle de l'entraînement, et le coût de la puissance de calcul reste un goulot d'étranglement pour les applications AIGC. « Il est trop tôt pour dire que les portraits IA vont remplacer les cabines photo hors ligne », a-t-il également déclaré.

Exigences de conformité pour les fournisseurs de services de permutation de visage par IA Zhang Tianyi, chef de produit senior chez RuiLai Intelligent, une start-up incubée par l'Institut de recherche en IA de l'Université Tsinghua, souligne l'importance de sécuriser les données à l'ère de l'AIGC avec l'application généralisée des grands modèles. « L'utilisation abusive des modèles AIGC peut entraîner des problèmes de conformité du contenu, y compris du contenu trompeur généré par des deepfakes et des modèles de diffusion, qui peuvent induire les utilisateurs en erreur et avoir des effets sociaux néfastes.

» Des documents réglementaires récents sur la gouvernance de l'AIGC ont été rapidement publiés par les autorités centrales et locales en Chine: Enregistrement des algorithmes d'IA Comme mentionné précédemment, les logiciels de permutation de visage par IA reposent sur la technologie deepfake, qui relève de la catégorie de la fourniture de services AIGC ayant des capacités d'opinion publique ou de mobilisation sociale en Chine. Les fournisseurs doivent suivre les procédures d'enregistrement des algorithmes décrites dans le « Règlement sur la gestion des recommandations algorithmiques des services d'information sur Internet ».

Évaluation de l'impact sur la protection des informations personnelles (PIA) Les fournisseurs de services AIGC traitant des informations personnelles sensibles lors de la prestation de services doivent effectuer une PIA pour évaluer les aspects juridiques et de conformité de leur traitement des données. La PIA doit évaluer la légalité, la nécessité et l'adéquation du traitement des informations personnelles, l'impact potentiel sur les droits individuels, les risques de sécurité et l'efficacité des mesures de protection. Les rapports PIA et les enregistrements des actions entreprises doivent être conservés pendant au moins trois ans.

La PIA est une obligation légale en vertu de la loi sur la protection des informations personnelles. Les fournisseurs de services de permutation de visage par IA qui ne remplissent pas cette obligation peuvent faire l'objet de mesures correctives, d'avertissements, de confiscation de gains illicites, d'amendes et d'autres sanctions de la part des autorités compétentes.

Identification du contenu généré par IA Les fournisseurs de services de permutation de visage par IA, classés comme fournisseurs de services AIGC, doivent identifier le contenu généré conformément au « Règlement sur la gestion de la synthèse profonde des services d'information sur Internet ». Le Comité technique national de normalisation de la sécurité de l'information a publié en août des directives sur l'identification du contenu des services AIGC, exigeant l'inclusion d'au moins le nom du fournisseur de services dans des filigranes implicites sur les images, les contenus audio et vidéo générés par IA.

Au final Les produits de permutation de visage par IA, en tant qu'application significative de l'intelligence artificielle, ont apporté une expérience nouvelle à un grand nombre d'utilisateurs. Cependant, leur développement conforme est confronté à des défis importants. D'une part, les produits de permutation de visage par IA peuvent devenir des terrains fertiles pour des activités malveillantes, entraînant des préoccupations telles que les récents incidents de « déshabillage en un clic », les fuites d'informations faciales causant des violations du droit à l'image, des violations de droits d'auteur et des risques de fraude.

D'autre part, en plus des obligations de conformité mentionnées précédemment, les produits de permutation de visage par IA traitant des informations faciales peinent à obtenir l'autorisation pour les droits d'auteur, les droits à l'image et autres droits de toutes les entités impliquées.

Pour les fournisseurs de services de permutation de visage par IA, assurer un traitement adéquat des informations personnelles dans le cadre juridique actuel, s'acquitter des exigences réglementaires nécessaires telles que les évaluations de l'impact sur la sécurité des informations personnelles et les enregistrements, et créer des applications conformes aux valeurs dominantes sont des tâches redoutables. La route à venir est difficile, mais la responsabilité est substantielle.