How criminals used AI face apps to swindle users: A China case study exposes the risks

Individuos en Guangzhou fueron condenados por vender ilegalmente información personal de ciudadanos utilizando IA, permitiendo a los usuarios crear videos falsos de reconocimiento facial, lo que resultó en penas de prisión y multas. En cuanto al éxito de Miaoya, expertos de la industria especularon que la aplicación podría haber ganado más de ¥100.000 en un solo día. Zhang Tianyi, gerente senior de productos en RuiLai Intelligent, una startup incubada por el Instituto de Investigación de IA de la Universidad de Tsinghua, enfatiza la importancia de proteger los datos en la era de AIGC con la aplicación generalizada de grandes modelos. Primera demanda civil de interés público en China relacionada con el reconocimiento facial Recientemente, el Tribunal de Internet de Guangzhou publicó información sobre un caso en el que se utilizó IA para convertir fotos en videos, con el fin de eludir el software de seguridad de escaneo facial. Los supuestos negocios, llamados "Check Head" y "Pass Face", permitían a los usuarios subir fotos, que el hombre, identificado solo como Zheng, convertía luego en videos en movimiento del rostro de la persona para acceder a sus cuentas bancarias y servicios de pago, entre otras cosas. Dada la prevalencia de plataformas de pago como WeChat y Alipay en China, que utilizan el reconocimiento facial como medida de seguridad, esto permitiría a personas sin escrúpulos subir fotos de sus amigos, colegas o incluso desconocidos, para acceder a cuentas bancarias y servicios de pago. Según la confesión de Zheng, compró fotos personales correspondientes a ciertos números de identificación de fuentes no especificadas a través de plataformas sociales, ofreciéndolas por alrededor de 15 a 20 yuanes por foto. Otros tres culpables, identificados como Ren, Dai y Chen, compraron información personal de ciudadanos al grupo de Zheng, pagando montos variables entre 50 y 100 yuanes por foto. Utilizaron software de inteligencia artificial para crear videos falsos dinámicos de reconocimiento facial, capaces de asentir, parpadear y otros movimientos. Estos videos se utilizaron para desbloquear cuentas y verificar la autenticación de nombre real en ciertas aplicaciones, generando ganancias ilegales. El servicio "Pass Face" implica tomar información facial y usar software de síntesis para crear videos dinámicos simulados de una persona. Por ejemplo, las acciones requeridas en los procesos actuales de verificación facial, como mirar hacia la izquierda o derecha, abrir la boca o inclinar la cabeza, pueden generarse mediante videos sintetizados. Al ingresar a la etapa de verificación facial en aplicaciones o verificación de cuentas, si la claridad facial del video cumple con los estándares requeridos, el sistema lo considerará una operación humana genuina, eludiendo con éxito la etapa de verificación facial y logrando el objetivo de piratear cuentas. Según la admisión del sospechoso, después de eludir los sistemas de reconocimiento facial, los criminales pueden acceder a las cuentas de otras personas en aplicaciones como WeChat, obteniendo privacidad personal e información como registros de chat, registros de pago y trayectorias de movimiento. Tras la revisión judicial, los cuatro individuos fueron declarados culpables de manejar ilegalmente más de 2.000 piezas de información personal, con ganancias ilegales superiores a $15.000. Fueron condenados a penas de prisión variables que van desde un año y dos meses hasta un año, y se les impusieron multas a cada uno. Lea también: ¿Apocalipsis de la IA general? Tranquilo, es más exageración que realidad Popularidad imparable de las aplicaciones de intercambio de rostros con IA El caso ha generado un gran debate en China sobre la exposición y posible mal uso de la información personal en estas aplicaciones de reconocimiento facial, que son numerosas e increíblemente populares. El software de intercambio de rostros con inteligencia artificial utiliza principalmente técnicas como deepfakes. Aplicaciones de intercambio de rostros con IA comercializadas como Hugging Face, Reface, DeepArt, FaceShow y DeepFaceLive están ampliamente disponibles. En China, las tecnologías de intercambio de rostros con IA enfrentaron críticas en el pasado debido a preocupaciones de privacidad. El pasado agosto, "Miaoya Camera", una aplicación de retratos con IA, ganó popularidad repentinamente, inundando las redes sociales con usuarios compartiendo retratos generados por IA. -El usuario aplica la foto en la esquina inferior derecha para convertirla en una foto con IA- La tarifa inicial de $1,39 por crear un avatar digital, en comparación con los altos costos de los estudios de fotografía profesionales, parecía insignificante. A medida que más personas se unían, la velocidad de procesamiento de la aplicación se ralentizó, con informes de más de 2.000 personas esperando en fila para la generación de retratos en la segunda noche de su lanzamiento. En cuanto al éxito de Miaoya, expertos de la industria especularon que la aplicación podría haber ganado más de ¥100.000 cada día. Según el equipo de Miaoya, el modelo de IA detrás de la aplicación se llama "Tiziano", inspirado en el maestro del retrato Tiziano Vecellio. Aunque no se revelaron los detalles oficiales de la tecnología del modelo, es probable que Miaoya se basara en modelos grandes de código abierto como SD, ajustándolos para la personalización del usuario. Para usar Miaoya, los usuarios deben subir una foto frontal clara y al menos 20 fotos adicionales con iluminación, fondos, ángulos y expresiones variadas. Después de crear el avatar digital, los usuarios pueden elegir entre más de 30 contextos de fuentes públicas para retratos, incluidos estilos vintage, temáticos del bosque, empresariales y de pintura al óleo. Inicialmente, los términos de Miaoya permitían el uso sin restricciones del contenido generado por IA para diversos fines, lo que provocó protestas públicas. Pero la compañía no ha dado una respuesta clara sobre cómo se utilizará la información. Posteriormente, la compañía se disculpó y revisó los términos, asegurando que las fotos solo se utilizan para la creación del avatar digital y se eliminan automáticamente al finalizar. Los términos revisados prohíben explícitamente la retención ilegal de información identificable, la elaboración de perfiles de usuario basados en la información de entrada y el suministro de información de entrada del usuario a terceros. "Es demasiado pronto para decir que los retratos con IA van a reemplazar las cabinas de fotos físicas". Wang Peng, investigador asociado de la Academia de Ciencias Sociales de Pekín Wang Peng, investigador asociado de la Academia de Ciencias Sociales de Pekín, cree que, aunque los retratos con IA han ganado popularidad en la era AIGC, formar un modelo de negocio genuino aún requiere un esfuerzo extenso. La demanda de poder computacional en la inferencia supera a la del entrenamiento, y el costo del poder computacional sigue siendo un cuello de botella para las aplicaciones AIGC. "Es demasiado pronto para decir que los retratos con IA van a reemplazar las cabinas de fotos físicas", agregó. Requisitos de cumplimiento para los proveedores de servicios de intercambio de rostros con IA Zhang Tianyi, gerente senior de productos en RuiLai Intelligent, una startup incubada por el Instituto de Investigación de IA de la Universidad de Tsinghua, enfatiza la importancia de proteger los datos en la era de AIGC con la aplicación generalizada de grandes modelos. "El mal uso de los modelos AIGC puede provocar problemas de cumplimiento de contenido, incluido el contenido engañoso generado por deepfakes y modelos de difusión, que pueden desorientar a los usuarios y tener efectos sociales adversos". Recientemente, se han emitido rápidamente documentos regulatorios sobre la gobernanza de AIGC desde las autoridades centrales hasta las locales en China: Registro de algoritmos de IA Como se mencionó anteriormente, el software de intercambio de rostros con IA se basa en la tecnología deepfake, que entra en la categoría de proporcionar servicios AIGC con capacidad de opinión pública o movilización social dentro de China. Los proveedores deben seguir los procedimientos de registro de algoritmos descritos en el "Reglamento sobre la gestión de la recomendación de algoritmos en los servicios de información de Internet". Evaluación de impacto en la protección de datos personales (PIA) Los proveedores de servicios AIGC que manejan información personal sensible durante la prestación de servicios deben realizar una PIA para evaluar los aspectos legales y de cumplimiento de su procesamiento de datos. La PIA debe evaluar la legalidad, necesidad y adecuación del procesamiento de información personal, el impacto potencial en los derechos individuales, los riesgos de seguridad y la eficacia de las medidas de protección. Los informes de PIA y los registros de las acciones tomadas deben conservarse durante al menos tres años. La PIA es una obligación legal según la Ley de Protección de Información Personal. Los proveedores de servicios de intercambio de rostros con IA que no cumplan con esta obligación pueden enfrentar órdenes correctivas, advertencias, confiscación de ganancias ilegales, multas y otras sanciones por parte de las autoridades pertinentes. Identificación de contenido generado por IA Los proveedores de servicios de intercambio de rostros con IA, clasificados como proveedores de servicios AIGC, deben identificar el contenido generado de conformidad con el "Reglamento de gestión de síntesis profunda en los servicios de información de Internet". El Comité Técnico Nacional de Normalización de Seguridad de la Información publicó directrices en agosto sobre la identificación del contenido del servicio AIGC, exigiendo la inclusión de al menos el nombre del proveedor de servicios en marcas de agua implícitas en imágenes, audio y videos generados por IA. Al final Los productos de intercambio de rostros con IA, como una aplicación significativa de la inteligencia artificial, han traído una experiencia novedosa a un gran número de usuarios. Sin embargo, su desarrollo compatible enfrenta desafíos importantes. Por un lado, los productos de intercambio de rostros con IA pueden convertirse en caldo de cultivo para actividades maliciosas, lo que genera preocupaciones como los recientes incidentes de "desnudado con un clic", fugas de información facial que causan infracción de los derechos de retrato, violaciones de derechos de autor y riesgos de fraude. Por otro lado, además de las obligaciones de cumplimiento mencionadas anteriormente, los productos de intercambio de rostros con IA que manejan información facial luchan por obtener la autorización de los derechos de autor, derechos de retrato y otros derechos de todas las entidades involucradas. Para los proveedores de servicios de intercambio de rostros con IA, garantizar un manejo adecuado de la información personal dentro del marco legal actual, completar los requisitos regulatorios necesarios como las evaluaciones de impacto en la seguridad de la información personal y los registros, y crear aplicaciones que se alineen con los valores convencionales son tareas formidables. El camino por delante es desafiante, pero la responsabilidad es sustancial. Ver también: El registro de miembros desaparecido de AfriNIC.