Como criminosos usaram aplicativos de IA facial para enganar usuários: estudo de caso da China expõe os riscos

Como criminosos usaram aplicativos de IA facial para enganar usuários: estudo de caso da China expõe os riscos é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura de internet, governança, dependências operacionais ou visibilidade de mercado.

Indivíduos em Guangzhou foram condenados por vender ilegalmente informações pessoais de cidadãos usando IA, permitindo que usuários criassem vídeos falsos de reconhecimento facial, resultando em penas de prisão e multas. Em relação ao sucesso do Miaoya, especialistas do setor especularam que o aplicativo pode ter ganhado mais de ¥100.000 em um único dia. Zhang Tianyi, Gerente Sênior de Produto da RuiLai Intelligent, uma startup incubada pelo Instituto de Pesquisa em IA da Universidade de Tsinghua, enfatiza a importância de proteger os dados na era da AIGC com a aplicação generalizada de grandes modelos.

O primeiro processo civil de interesse público envolvendo reconhecimento facial na China Recentemente, o Tribunal de Internet de Guangzhou divulgou informações sobre um caso em que a IA foi usada para transformar fotos em vídeos, a fim de contornar softwares de segurança de digitalização facial. Os chamados negócios, denominados “Check Head” e “Pass Face”, permitiam que os usuários enviassem fotos, que o homem, identificado apenas como Zheng, transformava em vídeos em movimento do rosto da pessoa para acessar suas contas bancárias e serviços de pagamento, entre outras coisas.

Dada a prevalência de plataformas de pagamento como WeChat e Alipay na China, que usam reconhecimento facial como medida de segurança, isso permitiria que pessoas sem escrúpulos enviassem fotos de amigos, colegas ou até mesmo estranhos, para acessar contas bancárias e serviços de pagamento. De acordo com a confissão de Zheng, ele comprou fotos pessoais correspondentes a certos números de identidade de fontes não especificadas em plataformas sociais, oferecendo-as por cerca de 15 a 20 yuans por foto.

Três outros culpados, identificados como Ren, Dai e Chen, compraram informações pessoais de cidadãos do grupo de Zheng, pagando valores variados entre 50 e 100 yuans por foto. Eles usaram software de inteligência artificial para criar vídeos dinâmicos falsos de reconhecimento facial, capazes de fazer movimentos como acenar com a cabeça, piscar, entre outros. Esses vídeos foram usados para desbloquear contas e verificar a autenticação de nome real em determinados aplicativos, resultando em lucros ilegais. O serviço “Pass Face” envolve pegar informações faciais e usar software de síntese para criar vídeos dinâmicos simulados de uma pessoa.

Por exemplo, ações exigidas nos processos atuais de verificação facial, como olhar para a esquerda ou direita, abrir a boca ou inclinar a cabeça, podem ser geradas por meio de vídeos sintetizados. Ao entrar na etapa de verificação facial em aplicativos ou verificação de conta, se a clareza facial do vídeo atender aos padrões exigidos, o sistema o considerará uma operação humana genuína, contornando com sucesso a etapa de verificação facial e alcançando o objetivo de hackear contas.

De acordo com a admissão do suspeito, após contornar os sistemas de reconhecimento facial, os criminosos podem acessar contas de outras pessoas em aplicativos como o WeChat, obtendo informações pessoais e privacidade, como registros de bate-papo, registros de pagamento e trajetórias de movimento. Após revisão judicial, os quatro indivíduos foram considerados culpados de manusear ilegalmente mais de 2.000 peças de informações pessoais, com ganhos ilegais superiores a $15.000. Eles foram condenados a penas de prisão variadas, de um ano e dois meses a um ano, e multas foram impostas a cada um deles. Leia também: Apocalipse geral da IA?

Relaxe, é mais hype do que realidade A popularidade inabalável dos aplicativos de troca de rosto com IA O caso gerou um enorme debate na China sobre a exposição e o possível uso indevido de informações pessoais nesses aplicativos de reconhecimento facial, que são numerosos e incrivelmente populares. Os softwares de troca de rosto com inteligência artificial utilizam principalmente técnicas como deepfakes. Aplicativos comercializados de troca de rosto com IA, como Hugging Face, Reface, DeepArt, FaceShow e DeepFaceLive, estão amplamente disponíveis.

Na China, as tecnologias de troca de rosto com IA foram criticadas no passado devido a preocupações com a privacidade. Em agosto passado, o “Miaoya Camera”, um aplicativo de retrato com IA, ganhou popularidade repentinamente, inundando as redes sociais com usuários compartilhando retratos gerados por IA. -O usuário aplica a foto no canto inferior direito para convertê-la em uma foto de IA- A taxa inicial de $1,39 para criar um avatar digital, comparada aos altos custos dos estúdios de fotografia profissional, parecia insignificante.

À medida que mais pessoas aderiram, a velocidade de processamento do aplicativo diminuiu, com relatos de mais de 2.000 pessoas esperando na fila para geração de retratos na segunda noite após o lançamento. Em relação ao sucesso do Miaoya, especialistas do setor especularam que o aplicativo pode ter ganhado mais de ¥100.000 por dia. De acordo com a equipe do Miaoya, o modelo de IA por trás do aplicativo se chama “Tiziano”, inspirado no mestre da arte do retrato Tiziano Vecellio.

Embora os detalhes oficiais da tecnologia do modelo não tenham sido divulgados, é provável que o Miaoya tenha se baseado em grandes modelos de código aberto como o SD, ajustando-os para personalização do usuário. Para usar o Miaoya, os usuários devem enviar uma foto frontal nítida e pelo menos 20 fotos adicionais com iluminação, fundo, ângulo e expressões variadas. Após a criação do avatar digital, os usuários podem escolher entre mais de 30 contextos de domínio público para retratos, incluindo estilos vintage, temáticos de floresta, negócios e pintura a óleo.

Inicialmente, os termos do Miaoya permitiam o uso irrestrito do conteúdo gerado por IA para diversos fins, gerando protestos públicos. Mas a empresa não deu uma resposta clara sobre como as informações serão usadas. Mais tarde, a empresa emitiu um pedido de desculpas e revisou os termos, garantindo que as fotos sejam usadas apenas para a criação do avatar digital e excluídas automaticamente após a conclusão. Os termos revisados proíbem explicitamente a retenção ilegal de informações identificáveis, a criação de perfis de usuário com base nas informações de entrada e o fornecimento de informações de entrada do usuário a terceiros.

“É muito cedo para dizer que os retratos de IA vão substituir os estúdios de fotografia offline.” Wang Peng, pesquisador associado da Academia de Ciências Sociais de Pequim Wang Peng, pesquisador associado da Academia de Ciências Sociais de Pequim, acredita que, embora os retratos de IA tenham ganhado popularidade na era AIGC, formar um modelo de negócios genuíno ainda requer um esforço extenso. A demanda por poder computacional na inferência excede a do treinamento, e o custo do poder computacional continua sendo um gargalo para as aplicações AIGC.

“É muito cedo para dizer que os retratos de IA vão substituir os estúdios de fotografia offline”, ele também disse. Requisitos de conformidade para provedores de serviços de troca de rosto com IA Zhang Tianyi, gerente sênior de produto da RuiLai Intelligent, uma startup incubada pelo Instituto de Pesquisa em IA da Universidade de Tsinghua, enfatiza a importância de proteger os dados na era da AIGC com a aplicação generalizada de grandes modelos.

“O uso indevido de modelos AIGC pode levar a problemas de conformidade de conteúdo, incluindo conteúdo enganoso gerado por deepfakes e modelos de difusão, que podem induzir os usuários a erros e ter efeitos sociais adversos.” Recentemente, documentos regulatórios sobre governança de AIGC foram emitidos rapidamente pelas autoridades centrais e locais na China: Registro de algoritmo de IA Como mencionado anteriormente, o software de troca de rosto com IA depende da tecnologia deepfake, que se enquadra na categoria de prestação de serviços AIGC com opinião pública ou capacidade de mobilização social na China.

Os provedores devem seguir os procedimentos de registro de algoritmo descritos nos “Regulamentos sobre a Administração de Recomendações de Algoritmos em Serviços de Informação da Internet”. Avaliação de impacto na proteção de informações pessoais (PIA) Os provedores de serviços AIGC que lidam com informações pessoais sensíveis durante a prestação de serviços devem realizar uma PIA para avaliar os aspectos legais e de conformidade do processamento de dados.

A PIA deve avaliar a legalidade, necessidade e adequação do processamento de informações pessoais, o impacto potencial nos direitos individuais, os riscos de segurança e a eficácia das medidas de proteção. Os relatórios e registros de PIA das ações tomadas devem ser mantidos por pelo menos três anos. A PIA é uma obrigação legal nos termos da Lei de Proteção de Informações Pessoais. Os provedores de serviços de troca de rosto com IA que não cumprirem essa obrigação podem enfrentar ordens corretivas, advertências, confisco de ganhos ilegais, multas e outras penalidades das autoridades competentes.

Identificação de conteúdo gerado por IA Os provedores de serviços de troca de rosto com IA, classificados como provedores de serviços AIGC, devem identificar o conteúdo gerado em conformidade com os “Regulamentos para a Gestão de Síntese Profunda em Serviços de Informação da Internet”. O Comitê Técnico Nacional de Padronização de Segurança da Informação divulgou diretrizes em agosto sobre a identificação de conteúdo de serviços AIGC, exigindo a inclusão de pelo menos o nome do provedor de serviços em marcas d'água implícitas em imagens, áudio e vídeo gerados por IA.

No final, os produtos de troca de rosto com IA, como uma aplicação significativa da inteligência artificial, trouxeram uma experiência inovadora para um grande número de usuários. No entanto, seu desenvolvimento em conformidade enfrenta desafios significativos. Por um lado, os produtos de troca de rosto com IA podem se tornar terreno fértil para atividades maliciosas, levando a preocupações como os recentes incidentes de “despir com um clique”, vazamentos de informações faciais que causam violação de direitos de imagem, violações de direitos autorais e riscos de fraude.

Por outro lado, além das obrigações de conformidade mencionadas anteriormente, os produtos de troca de rosto com IA que lidam com informações faciais enfrentam dificuldades para obter autorização de direitos autorais, direitos de imagem e outros direitos de todas as entidades envolvidas. Para os provedores de serviços de troca de rosto com IA, garantir o manuseio adequado das informações pessoais dentro do atual quadro jurídico, cumprir os requisitos regulatórios necessários, como avaliações de impacto na segurança das informações pessoais e registros, e criar aplicações alinhadas com os valores predominantes são tarefas formidáveis.

O caminho pela frente é desafiador, mas a responsabilidade é substancial.