Cómo los criminales utilizaron aplicaciones de rostro con IA para estafar a usuarios: un caso de estudio en China expone los riesgos

How criminals used AI face apps to swindle users: A China case study exposes the risks es perfilado por BTW Media porque la evidencia publicada lo vincula con la infraestructura de internet, la gobernanza, las dependencias operativas o la visibilidad de mercado.

Personas en Guangzhou fueron condenadas por vender ilegalmente información personal de ciudadanos utilizando IA, permitiendo a los usuarios crear videos falsos de reconocimiento facial, lo que resultó en penas de prisión y multas. En cuanto al éxito de Miaoya, expertos de la industria especularon que la aplicación podría haber ganado más de ¥100,000 en un solo día. Zhang Tianyi, gerente sénior de producto en RuiLai Intelligent, una startup incubada por el Instituto de Investigación en IA de la Universidad de Tsinghua, enfatiza la importancia de proteger los datos en la era de AIGC con la aplicación generalizada de modelos grandes.

Primera demanda civil de interés público en China por reconocimiento facial Recientemente, el Tribunal de Internet de Guangzhou publicó información sobre un caso en el que se había utilizado IA para convertir fotos en videos, con el fin de eludir los sistemas de seguridad de escaneo facial. Los llamados negocios, denominados "Check Head" y "Pass Face", permitían a los usuarios subir fotos, que un hombre, identificado solo como Zheng, convertía luego en videos con movimiento del rostro de la persona para acceder a cuentas bancarias y servicios de pago, entre otras cosas.

Dada la prevalencia de plataformas de pago como WeChat y Alipay en China, que utilizan el reconocimiento facial como medida de seguridad, esto permitiría a personas sin escrúpulos subir fotos de amigos, colegas o incluso extraños para acceder a cuentas bancarias y servicios de pago. Según la confesión de Zheng, él compraba fotos personales correspondientes a ciertos números de identificación de fuentes no especificadas a través de plataformas sociales, ofreciéndolas por alrededor de 15 a 20 yuanes por foto.

Otros tres culpables, identificados como Ren, Dai y Chen, compraron información personal de ciudadanos al grupo de Zheng, pagando cantidades variables entre 50 y 100 yuanes por foto. Utilizaron software de inteligencia artificial para crear videos dinámicos falsos de reconocimiento facial, capaces de asentir, parpadear y otros movimientos. Estos videos se usaban para desbloquear cuentas y verificar la autenticación de nombre real en ciertas aplicaciones, lo que generaba ganancias ilegales. El servicio "Pass Face" implica tomar información facial y usar software de síntesis para crear videos dinámicos simulados de una persona.

Por ejemplo, acciones requeridas en los procesos de verificación facial actuales, como mirar a izquierda o derecha, abrir la boca o inclinar la cabeza, pueden generarse mediante videos sintetizados. Al ingresar a la etapa de verificación facial en aplicaciones o verificación de cuentas, si la claridad facial del video cumple con los estándares requeridos, el sistema lo considerará una operación humana genuina, superando con éxito la etapa de verificación facial y logrando el objetivo de hackear cuentas.

Según la admisión del sospechoso, después de eludir los sistemas de reconocimiento facial, los criminales pueden acceder a cuentas de otras personas en aplicaciones como WeChat, obteniendo información personal y privacidad como registros de chat, registros de pagos y trayectorias de movimiento. Tras la revisión judicial, los cuatro individuos fueron declarados culpables de manejar ilegalmente más de 2,000 piezas de información personal, con ganancias ilegales superiores a $15,000. Fueron sentenciados a penas de prisión variables que van desde un año y dos meses hasta un año, y se les impusieron multas a cada uno.

Lea también: ¿Apocalipsis de la IA general? Relájese, es más exageración que realidad Popularidad imparable de las aplicaciones de intercambio de rostros con IA El caso ha generado un gran debate en China sobre la exposición y el posible uso indebido de la información personal en estas aplicaciones de reconocimiento facial, que son numerosas e increíblemente populares. El software de intercambio de rostros con inteligencia artificial utiliza principalmente técnicas como deepfakes. Aplicaciones comerciales de intercambio de rostros con IA como Hugging Face, Reface, DeepArt, FaceShow y DeepFaceLive están ampliamente disponibles.

En China, las tecnologías de intercambio de rostros con IA enfrentaron críticas en el pasado debido a preocupaciones de privacidad. El pasado agosto, la "Miaoya Camera", una aplicación de retratos con IA, ganó popularidad repentinamente, inundando las redes sociales con usuarios compartiendo retratos generados por IA. -El usuario aplica la foto en la esquina inferior derecha para convertirla en una foto con IA- La tarifa inicial de $1.39 por crear un avatar digital, en comparación con los altos costos de los estudios de fotografía profesionales, parecía insignificante.

A medida que más personas se unían, la velocidad de procesamiento de la aplicación se ralentizó, con informes de más de 2,000 personas esperando en fila para la generación de retratos en la segunda noche de su lanzamiento. Sobre el éxito de Miaoya, expertos de la industria especularon que la aplicación podría haber ganado más de ¥100,000 cada día. Según el equipo de Miaoya, el modelo de IA detrás de la aplicación se llama "Tiziano", inspirado en el maestro del retrato Tiziano Vecellio.

Aunque no se revelaron los detalles oficiales de la tecnología del modelo, es probable que Miaoya se basara en modelos grandes de código abierto como SD, ajustándolos para la personalización del usuario. Para usar Miaoya, los usuarios deben subir una foto frontal clara y al menos 20 fotos adicionales con iluminación, fondos, ángulos y expresiones variadas. Después de crear el avatar digital, los usuarios pueden elegir entre más de 30 contextos de retratos de fuente pública, incluidos estilos vintage, temáticos del bosque, de negocios y pintura al óleo.

Inicialmente, los términos de Miaoya permitían el uso sin restricciones del contenido generado por IA para diversos fines, lo que provocó protestas públicas. Pero la empresa no ha dado una respuesta clara sobre cómo se utilizará la información. Posteriormente, la empresa emitió una disculpa y revisó los términos, asegurando que las fotos solo se usan para la creación de avatares digitales y se eliminan automáticamente una vez completado el proceso.

Los términos revisados prohíben explícitamente la retención ilegal de información identificable, la elaboración de perfiles de usuario basados en la información ingresada y la provisión de información de usuario a terceros. "Es demasiado pronto para decir que los retratos con IA van a reemplazar las cabinas de fotos tradicionales". Wang Peng, investigador asociado de la Academia de Ciencias Sociales de Beijing, cree que, aunque los retratos con IA han ganado popularidad en la era AIGC, formar un modelo de negocio genuino aún requiere un esfuerzo extenso.

La demanda de potencia computacional en la inferencia supera a la del entrenamiento, y el costo de la potencia computacional sigue siendo un cuello de botella para las aplicaciones AIGC. "Es demasiado pronto para decir que los retratos con IA van a reemplazar las cabinas de fotos tradicionales", también dijo. Requisitos de cumplimiento para los proveedores de servicios de intercambio de rostros con IA Zhang Tianyi, gerente sénior de producto en RuiLai Intelligent, enfatiza la importancia de proteger los datos en la era de AIGC con la aplicación generalizada de modelos grandes.

"El uso indebido de los modelos AIGC puede generar problemas de cumplimiento de contenido, incluido contenido engañoso generado por deepfakes y modelos de difusión, que pueden desorientar a los usuarios y tener efectos sociales adversos".

Recientemente, se han emitido rápidamente documentos regulatorios sobre la gobernanza de AIGC desde las autoridades centrales hasta las locales en China: Registro de algoritmos de IA Como se mencionó anteriormente, el software de intercambio de rostros con IA se basa en la tecnología deepfake, que entra en la categoría de proporcionar servicios AIGC con capacidad de opinión pública o movilización social dentro de China. Los proveedores deben seguir los procedimientos de registro de algoritmos descritos en el "Reglamento sobre la Gestión de la Recomendación de Algoritmos de Servicios de Información de Internet".

Evaluación de impacto en la protección de datos personales (PIA) Los proveedores de servicios AIGC que manejan información personal sensible durante la prestación de servicios deben realizar una PIA para evaluar los aspectos legales y de cumplimiento de su procesamiento de datos. La PIA debe evaluar la legalidad, necesidad y adecuación del procesamiento de información personal, el impacto potencial en los derechos individuales, los riesgos de seguridad y la efectividad de las medidas de protección. Los informes de PIA y los registros de las acciones tomadas deben conservarse durante al menos tres años.

La PIA es una obligación legal bajo la Ley de Protección de Información Personal. Los proveedores de servicios de intercambio de rostros con IA que no cumplan con esta obligación pueden enfrentar órdenes correctivas, advertencias, confiscación de ganancias ilegales, multas y otras sanciones por parte de las autoridades pertinentes. Identificación de contenido generado por IA Los proveedores de servicios de intercambio de rostros con IA, clasificados como proveedores de servicios AIGC, deben identificar el contenido generado de conformidad con el "Reglamento de Gestión de Síntesis Profunda de Servicios de Información de Internet".

El Comité Técnico Nacional de Normalización de Seguridad de la Información publicó en agosto directrices sobre la identificación del contenido de servicios AIGC, exigiendo la inclusión de al menos el nombre del proveedor de servicios en marcas de agua implícitas en imágenes, audio y video generados por IA. Al final Los productos de intercambio de rostros con IA, como una aplicación significativa de la inteligencia artificial, han brindado una experiencia novedosa a un gran número de usuarios. Sin embargo, su desarrollo conforme a la normativa enfrenta desafíos importantes.

Por un lado, los productos de intercambio de rostros con IA pueden convertirse en caldo de cultivo para actividades maliciosas, lo que genera preocupaciones como los recientes incidentes de "desvestirse con un clic", filtraciones de información facial que causan infracción de los derechos de retrato, violaciones de derechos de autor y riesgos de fraude.

Por otro lado, además de las obligaciones de cumplimiento mencionadas anteriormente, los productos de intercambio de rostros con IA que manejan información facial tienen dificultades para obtener la autorización de los derechos de autor, derechos de retrato y otros derechos de todas las entidades involucradas.

Para los proveedores de servicios de intercambio de rostros con IA, garantizar un manejo adecuado de la información personal dentro del marco legal actual, completar los requisitos regulatorios necesarios, como las evaluaciones de impacto en la seguridad de la información personal y los registros, y crear aplicaciones que se alineen con los valores predominantes son tareas formidables. El camino por delante es desafiante, pero la responsabilidad es sustancial.