Unmasking deepfake illusions and guarding against deception

• Los deepfakes fabrican de manera convincente engaños de audio, video o imágenes, combinando técnicas de aprendizaje profundo con la creación de contenido falso.
• Aunque tienen usos en el entretenimiento y el servicio al cliente, sus aplicaciones más oscuras incluyen la difusión de información falsa y la facilitación del fraude de identidad.
• La carrera armamentista en curso contra los deepfakes impulsa el desarrollo de herramientas de detección como Sentinel y Sensity AI, así como iniciativas colaborativas como C2PA.

Los deepfakes, impulsados por la IA, fabrican engaños de audio, video o imágenes de manera convincente, lo que plantea dos preocupaciones: desde aplicaciones benignas en el entretenimiento hasta usos siniestros como la difusión de desinformación y el fraude de identidad. Para contrarrestar esta amenaza, están surgiendo herramientas de detección como Sentinel y Sensity AI, junto con iniciativas como C2PA. Ver también: Ziggo Group nombra a sus líderes antes de su salida a bolsa en Ámsterdam en 2027.

¿Qué es la IA de deepfake?

La IA de deepfake es una forma de inteligencia artificial utilizada para producir imágenes, audio y video engañosos convincentes. El término abarca tanto la tecnología en sí como el contenido engañoso resultante, y es una combinación de aprendizaje profundo y falso. Ver también: Alejandro Estua.

Los deepfakes comúnmente manipulan material fuente existente, sustituyendo a una persona por otra. También generan contenido completamente nuevo que muestra a personas realizando acciones o diciendo palabras que nunca hicieron o dijeron. Ver también: Alejandro Manzo.

La principal preocupación en torno a los deepfakes es su potencial para difundir información falsa que parece provenir de fuentes confiables. Por ejemplo, en 2022, surgió un video deepfake del presidente ucraniano Volodymyr Zelenskyy que supuestamente instaba a sus tropas a rendirse. Ver también: Alejandro Hernandez.

También existen preocupaciones sobre la posible interferencia en las elecciones y la propagación de propaganda electoral. “Los consultores políticos, las campañas, los candidatos e incluso miembros del público en general están avanzando en el uso de la tecnología sin comprender completamente cómo funciona o, lo que es más importante, todos los daños potenciales que puede causar”, dijo Carah Ong Whaley, oficial del programa académico del Centro de Política de la UVA. “Estoy especialmente preocupada por el uso de la IA para la manipulación de votantes, no solo a través de deepfakes, sino por la capacidad de la IA generativa de ser una microsegmentación potenciada a través de campañas de mensajes de texto y correo electrónico”, dijo. Ver también: Alejandro Garza.

Los consultores políticos, las campañas, los candidatos e incluso miembros del público en general están avanzando en el uso de la tecnología sin comprender completamente cómo funciona o, lo que es más importante, todos los daños potenciales que puede causar. Ver también: Alejandro Guerrero.

Carah Ong Whaley, oficial del programa académico del Centro de Política de la UVA

A pesar de los riesgos significativos asociados con los deepfakes, también poseen aplicaciones legítimas, como en el audio de videojuegos y el entretenimiento, así como en sistemas de atención al cliente y respuesta de llamadas, como el desvío de llamadas y los servicios de recepción. Ver también: Alec Gramont.

Lea también: ¿Es el deepfake una IA generativa?

Aplicaciones de la tecnología deepfake

Aplicaciones negativas

Chantaje y daño a la reputación: Esto ocurre cuando una imagen objetivo se coloca en un escenario ilegal, inapropiado o comprometedor, como engañar al público, participar en actividades sexuales explícitas o consumir drogas. Estos videos se utilizan para coaccionar a una víctima, manchar la reputación de una persona, buscar venganza o participar en ciberacoso. La forma prevalente de chantaje o venganza es la pornografía deepfake no consentida, comúnmente conocida como porno de venganza. En 2019, se desarrolló un software llamado DeepNude capaz de hacer que una mujer parezca desnuda con un solo clic, y se difundió rápidamente de forma viral con intenciones maliciosas, particularmente para acosar a las mujeres. Ver también: La chipflación de la IA estrangula a los fabricantes de dispositivos más allá de los centros de datos.

Evidencia falsa: Las imágenes o el audio deepfake fabricados pueden presentarse como evidencia en procedimientos legales, implicando falsamente a personas o exonerándolas de irregularidades.

Fraude: Los deepfakes se emplean para suplantar a personas, a menudo con el fin de obtener información personal confidencial como detalles bancarios o números de tarjetas de crédito. Esta suplantación puede extenderse a ejecutivos de alto rango de empresas o empleados con acceso a datos confidenciales, lo que plantea amenazas significativas de ciberseguridad.

Y según IEEE Spectrum, "el fraude de identidad fue la principal preocupación con respecto a los deepfakes para más de tres cuartas partes de los encuestados en una encuesta de la industria de la ciberseguridad realizada por la empresa biométrica iProov".

Desinformación y manipulación política: Los videos deepfake de políticos o figuras de confianza se utilizan para manipular la opinión pública y sembrar confusión, contribuyendo a menudo a la difusión de noticias falsas. Casi todos los líderes mundiales, incluidos Barack Obama, expresidente de EE. UU., Donald Trump, actual presidente de EE. UU., Nancy Pelosi, política estadounidense, Angela Merkel, canciller alemana, han sido explotados de alguna manera por videos falsos, e incluso el fundador de Facebook, Mark Zuckerberg, se ha enfrentado a un hecho similar. Casos como el video deepfake del presidente ucraniano Volodymyr Zelenskyy ejemplifican el potencial de los deepfakes para exacerbar conflictos y desestabilizar situaciones.

Manipulación de acciones: El contenido deepfake falsificado puede influir en los precios de las acciones, con videos falsos de ejecutivos haciendo declaraciones perjudiciales sobre sus empresas que llevan a la depreciación de las acciones. Por el contrario, los videos fabricados que promueven avances tecnológicos o lanzamientos de productos pueden inflar artificialmente los valores de las acciones.

Prueba rápida

¿Cómo contribuyen los videos deepfake de políticos o figuras de confianza a la desinformación?
A. Proporcionando información precisa al público
B. Manipulando la opinión pública y sembrando confusión
C. Exponiendo la corrupción política
D. Promoviendo la transparencia en el gobierno

La respuesta correcta se encuentra al final del artículo.

Aplicaciones positivas

Arte: Los deepfakes se utilizan para generar nuevas composiciones musicales utilizando grabaciones existentes del trabajo de artistas, permitiendo enfoques innovadores para la creación y remezcla musical. Y la tecnología deepfake ha democratizado la creación de obras de arte, haciéndola accesible a una gama más amplia de personas. Permite a los artistas producir piezas innovadoras, cautivando al público con experiencias únicas. Por ejemplo, el Museo Dalí en San Petersburgo, Florida, utilizó la tecnología deepfake para dar vida a Salvador Dalí, permitiendo a los visitantes interactuar con el renombrado artista a través de la inteligencia artificial.

Marketing digital: La tecnología deepfake se emplea cada vez más en estrategias de marketing digital para crear contenido atractivo e inmersivo. Al aprovechar los deepfakes, los especialistas en marketing pueden desarrollar anuncios y materiales promocionales altamente personalizados, adaptados a las preferencias y demografía individuales. Por ejemplo, los deepfakes se pueden usar para superponer imágenes de productos en escenarios de la vida real, lo que permite a los consumidores visualizar los beneficios de un producto en su propio entorno. Además, la tecnología deepfake permite la creación de campañas de narración convincentes, mejorando el compromiso con la marca y fomentando la lealtad del cliente. Adicionalmente, los deepfakes ofrecen a los especialistas en marketing la capacidad de reutilizar el contenido existente de formas innovadoras, maximizando el retorno de la inversión en campañas publicitarias.

“Esta tecnología se aplica cada vez más en el marketing digital, permitiendo a la empresa reducir sus costos, diseñar campañas promocionales más fácilmente, personalizar su oferta, posibilitar experiencias únicas para sus consumidores, pero también aumentar la conciencia del mercado objetivo sobre ciertos temas sensibles de importancia social”, dijo Radoslav Baltezarevic, Vicedecano de Estudios de Posgrado e Investigación Científica, Profesor de Marketing, Comunicación y Gestión de la Universidad Megatrend.

Esta tecnología se aplica cada vez más en el marketing digital, permitiendo a la empresa reducir sus costos, diseñar campañas promocionales más fácilmente, personalizar su oferta, posibilitar experiencias únicas para sus consumidores, pero también aumentar la conciencia del mercado objetivo sobre ciertos temas sensibles de importancia social.

Radoslav Baltezarevic, Vicedecano de Estudios de Posgrado e Investigación Científica

Servicios de respuesta de llamadas: Estos servicios aprovechan los deepfakes para proporcionar respuestas personalizadas a las consultas de los llamantes, mejorando el compromiso y la satisfacción del cliente, particularmente en tareas de desvío de llamadas y recepción.

Soporte telefónico al cliente: Utilizando voces sintéticas generadas por la tecnología deepfake, los servicios de atención al cliente agilizan tareas rutinarias como verificar saldos de cuentas o presentar quejas, mejorando la eficiencia y la experiencia del usuario.

Entretenimiento: La industria del entretenimiento aprovecha los deepfakes para diversos fines, incluida la clonación y manipulación de las voces de los actores para escenas de películas y videojuegos. Este enfoque resulta invaluable cuando las limitaciones logísticas dificultan la filmación tradicional o cuando los actores no están disponibles para la grabación de voz durante la posproducción. Además, los deepfakes contribuyen al contenido de sátira y parodia, ofreciendo al público perspectivas humorísticas e interpretaciones creativas de figuras familiares. Un ejemplo ilustrativo es el deepfake de 2023 que presenta a Dwayne “La Roca” Johnson como Dora la Exploradora, mostrando el potencial para la experimentación lúdica con la tecnología deepfake.

Lea también: ¿Es ilegal la IA de deepfake?

Herramientas y técnicas de detección de deepfakes

Una herramienta de detección de deepfakes es un software o sistema diseñado para identificar y detectar videos o imágenes deepfake. Generalmente utiliza varios métodos para analizar el contenido digital y determinar si ha sido manipulado o generado por IA.

Con el creciente número de deepfakes, el software de detección de deepfakes se está volviendo cada vez más popular para protegerse contra los efectos nocivos de los videos y audios falsos. Se estima que el mercado mundial de software de detección de deepfakes exhibirá una CAGR del 38,3% de 2024 a 2029. Y se proyecta que el tamaño del mercado de detección de imágenes falsas crecerá de USD 0,6 mil millones en 2024 a USD 3,9 mil millones para 2029 a una tasa de crecimiento anual compuesta (CAGR) del 41,6% durante el período de pronóstico.

Recientemente, OpenAI presentó una herramienta para detectar imágenes creadas por su generador de IA, DALL-E, mientras los expertos advierten que los deepfakes generados por IA influyen en las elecciones. El detector, efectivo para imágenes de DALL-E pero no para otras, será probado por investigadores de desinformación. OpenAI también trabaja en marcas de agua de contenido de IA y se une a esfuerzos como C2PA para la autenticidad del contenido digital.

Antes de que OpenAI presentara su detector de deepfakes, ya existen algunos detectores de buen rendimiento disponibles.

Sentinel: Sentinel es una plataforma de protección basada en IA que ayuda a gobiernos democráticos, agencias de defensa y empresas a detener la amenaza de los deepfakes. Estimadas organizaciones en toda Europa confían en la tecnología de Sentinel para su fortalecimiento. El mecanismo opera permitiendo a los usuarios enviar contenido digital a través de su sitio web o API, sometiéndolo después a un escrutinio automático en busca de manipulación por IA. El sistema discierne la autenticidad del contenido y proporciona una representación gráfica de cualquier alteración realizada.

Deepware: Deepware es una herramienta fácil de usar diseñada para detectar videos deepfake. Utilizando algoritmos avanzados de aprendizaje automático, escanea el contenido de video en busca de signos de manipulación, como movimientos faciales antinaturales e inconsistencias en la iluminación y las sombras. Proporciona una puntuación de probabilidad que indica la probabilidad de que un video sea un deepfake, ayudando a los usuarios a evaluar rápidamente su autenticidad.

Sensity: Sensity ofrece una plataforma integral para detectar deepfakes en tiempo real. Emplea una combinación de visión artificial y técnicas de aprendizaje profundo para analizar fotogramas de video y señales de audio. La tecnología de Sensity es utilizada por gobiernos y organizaciones de medios para protegerse contra la difusión de noticias falsas y contenido malicioso.

Herramienta Video Authenticator de Microsoft: La Herramienta Video Authenticator de Microsoft se erige como un recurso potente capaz de analizar tanto imágenes fijas como contenido de video, proporcionando una calificación de confianza que indica la posible manipulación. Identifica hábilmente los límites de fusión inherentes a los deepfakes, así como sutiles matices en escala de grises imperceptibles para el ojo humano. Además, proporciona esta calificación de confianza instantáneamente, lo que facilita la identificación rápida de deepfakes.

FakeCatcher de Intel: Con una impresionante tasa de precisión del 96%, FakeCatcher ofrece resultados en milisegundos. Desarrollado en colaboración con Umur Ciftci de la Universidad Estatal de Nueva York en Binghamton, FakeCatcher utiliza hardware y software de Intel, operando en un servidor y accesible a través de una interfaz web. FakeCatcher emplea un enfoque novedoso al examinar videos genuinos en busca de señales auténticas que definen el comportamiento humano. Se centra en indicadores sutiles como el "flujo sanguíneo" evidente en los píxeles de un video. A medida que la sangre circula, las venas experimentan cambios de color, y estas señales matizadas se recopilan de varias regiones faciales. Luego, algoritmos sofisticados traducen estas señales en mapas espaciotemporales. A través de técnicas de aprendizaje profundo, FakeCatcher determina rápidamente la autenticidad de un video, distinguiendo entre contenido genuino y fabricado.

La respuesta correcta es B, manipulando la opinión pública y sembrando confusión.