Indivíduos em Guangzhou foram condenados por vender ilegalmente informações pessoais de cidadãos usando IA, permitindo a criação de vídeos falsos de reconhecimento facial, resultando em penas de prisão e multas. Quanto ao sucesso da Miaoya, insiders do setor especularam que o aplicativo pode ter ganhado mais de ¥100.000 em um único dia. Zhang Tianyi, gerente de produto sênior na RuiLai Intelligent, uma startup incubada pelo Instituto de Pesquisa em IA da Universidade Tsinghua, destaca a importância de proteger os dados na era da AIGC com a aplicação generalizada de grandes modelos.

O primeiro julgamento civil de interesse público na China envolvendo reconhecimento facial Recentemente, o Tribunal de Internet de Guangzhou divulgou informações sobre um caso em que a IA foi usada para transformar fotos em vídeos, a fim de contornar softwares de segurança de varredura facial. As supostas empresas, chamadas "Check Head" e "Pass Face", permitiam que os usuários enviassem fotos, que o homem, identificado apenas como Zheng, transformava em vídeos animados do rosto da pessoa para acessar suas contas bancárias e serviços de pagamento, entre outros.

Dada a prevalência de plataformas de pagamento como WeChat e Alipay na China, que usam o reconhecimento facial como medida de segurança, isso permitiria que pessoas mal-intencionadas baixassem fotos de seus amigos, colegas ou mesmo estranhos, para acessar contas bancárias e serviços de pagamento. De acordo com a confissão de Zheng, ele comprava fotos pessoais correspondentes a certos números de identidade de fontes não especificadas por meio de plataformas sociais, oferecendo-as por cerca de 15 a 20 yuans por foto.

Outros três culpados, chamados Ren, Dai e Chen, compravam as informações pessoais dos cidadãos do grupo de Zheng, pagando valores variando entre 50 e 100 yuans por foto. Eles usavam softwares de inteligência artificial para criar vídeos falsos e dinâmicos de reconhecimento facial, capazes de balançar a cabeça, piscar os olhos e outros movimentos. Esses vídeos eram usados para desbloquear contas e verificar a autenticação de nome real em determinados aplicativos, gerando lucros ilegais. O serviço "Pass Face" consiste em capturar informações faciais e usar software de síntese para criar vídeos dinâmicos simulados de uma pessoa.

Por exemplo, ações exigidas nos processos atuais de verificação facial, como olhar para a esquerda ou direita, abrir a boca ou inclinar a cabeça, podem ser geradas por vídeos sintetizados. Durante a etapa de verificação facial em aplicativos ou verificação de conta, se a clareza facial do vídeo atingir os padrões exigidos, o sistema o considerará uma operação humana real, contornando com sucesso a etapa de verificação facial e alcançando o objetivo de invadir contas.

De acordo com a confissão do suspeito, depois de contornar os sistemas de reconhecimento facial, os criminosos podem acessar as contas de outras pessoas em aplicativos como WeChat, obtendo informações pessoais privadas como históricos de chat, registros de pagamento e trajetórias de deslocamento. Após exame judicial, os quatro indivíduos foram considerados culpados por terem processado ilegalmente mais de 2.000 informações pessoais, com ganhos ilícitos superiores a $15.000. Eles foram condenados a penas de prisão variando de um ano e dois meses a um ano, e multas foram impostas a cada um deles. Leia também: Apocalipse da IA geral?

Relaxe, é mais hype do que realidade. Popularidade ininterrupta dos aplicativos de troca de rosto com IA O caso gerou um amplo debate na China sobre a exposição e o potencial uso indevido de informações pessoais nesses aplicativos de reconhecimento facial, que são numerosos e incrivelmente populares. Os softwares de troca de rosto por inteligência artificial usam principalmente técnicas como deepfakes. Aplicativos comercializados de troca de rosto com IA, como Hugging Face, Reface, DeepArt, FaceShow e DeepFaceLive, estão amplamente disponíveis.

Na China, as tecnologias de troca de rosto com IA têm sido criticadas no passado devido a preocupações com a privacidade. Em agosto passado, o aplicativo de retratos IA "Miaoya Camera" ganhou popularidade repentinamente, inundando as mídias sociais com retratos gerados por IA compartilhados pelos usuários. - O usuário aplica a foto no canto inferior direito para convertê-la em foto IA - A taxa inicial de $1,39 para criar um avatar digital, comparada aos altos custos de estúdios de fotografia profissionais, parecia insignificante.

À medida que mais pessoas aderiam, a velocidade de processamento do aplicativo diminuía, com relatos de mais de 2.000 pessoas na fila para a geração de retratos na segunda noite de seu lançamento. Quanto ao sucesso da Miaoya, insiders do setor especulavam que o aplicativo poderia ter ganhado mais de ¥100.000 por dia. De acordo com a equipe da Miaoya, o modelo de IA por trás do aplicativo se chama "Tiziano", inspirado pelo mestre da arte do retrato Tiziano Vecellio.

Embora os detalhes técnicos do modelo não tenham sido oficialmente divulgados, é provável que a Miaoya tenha se baseado em grandes modelos open source como SD, refinando-os para a personalização pelo usuário. Para usar o Miaoya, os usuários devem enviar uma foto de rosto clara e pelo menos 20 fotos adicionais com iluminação, fundos, ângulos e expressões variados. Uma vez criado o avatar digital, os usuários podem escolher entre mais de 30 contextos de fontes públicas para os retratos, incluindo estilos vintage, tema floresta, profissional e pintura a óleo.

Inicialmente, os termos da Miaoya permitiam o uso irrestrito do conteúdo gerado por IA para diversos fins, o que gerou grande repercussão. Mas a empresa não deu uma resposta clara sobre como as informações seriam usadas. A empresa posteriormente se desculpou e revisou os termos, garantindo que as fotos são usadas apenas para a criação de avatares digitais e são automaticamente excluídas após a conclusão. Os termos revisados proíbem explicitamente a retenção ilegal de informações identificáveis, a criação de perfis de usuários com base nas informações inseridas e o fornecimento de informações inseridas pelo usuário a terceiros.

"É muito cedo para dizer que os retratos IA vão substituir as cabines de fotos offline." Wang Peng, pesquisador associado da Academia de Ciências Sociais de Pequim, acredita que, embora os retratos IA tenham ganhado popularidade na era da AIGC, a formação de um modelo de negócios real ainda requer esforços consideráveis. A demanda por poder computacional para inferência supera a do treinamento, e o custo do poder computacional continua sendo um gargalo para aplicações AIGC. "É muito cedo para dizer que os retratos IA vão substituir as cabines de fotos offline", ele também declarou.

Requisitos de conformidade para provedores de serviços de troca de rosto com IA Zhang Tianyi, gerente de produto sênior na RuiLai Intelligent, uma startup incubada pelo Instituto de Pesquisa em IA da Universidade Tsinghua, destaca a importância de proteger os dados na era da AIGC com a aplicação generalizada de grandes modelos.

"O uso indevido de modelos AIGC pode levar a problemas de conformidade de conteúdo, incluindo conteúdo enganoso gerado por deepfakes e modelos de difusão, que podem induzir os usuários a erro e ter efeitos sociais prejudiciais." Documentos regulatórios recentes sobre a governança da AIGC foram rapidamente publicados pelas autoridades centrais e locais na China: Registro de algoritmos de IA Como mencionado anteriormente, os softwares de troca de rosto com IA dependem da tecnologia deepfake, que se enquadra na categoria de fornecimento de serviços AIGC com capacidade de opinião pública ou mobilização social na China.

Os provedores devem seguir os procedimentos de registro de algoritmos descritos no "Regulamento sobre a Gestão de Recomendações Algorítmicas de Serviços de Informação na Internet". Avaliação de Impacto na Proteção de Informações Pessoais (PIA) Provedores de serviços AIGC que processam informações pessoais sensíveis durante a prestação de serviços devem realizar uma PIA para avaliar os aspectos legais e de conformidade de seu tratamento de dados.

A PIA deve avaliar a legalidade, necessidade e adequação do tratamento de informações pessoais, o impacto potencial sobre os direitos individuais, os riscos de segurança e a eficácia das medidas de proteção. Os relatórios de PIA e os registros das ações tomadas devem ser mantidos por pelo menos três anos. A PIA é uma obrigação legal sob a lei de proteção de informações pessoais. Provedores de serviços de troca de rosto com IA que não cumprirem essa obrigação podem estar sujeitos a medidas corretivas, advertências, confisco de ganhos ilícitos, multas e outras sanções das autoridades competentes.

Identificação do conteúdo gerado por IA Provedores de serviços de troca de rosto com IA, classificados como provedores de serviços AIGC, devem identificar o conteúdo gerado de acordo com o "Regulamento sobre a Gestão da Síntese Profunda de Serviços de Informação na Internet". O Comitê Técnico Nacional de Padronização de Segurança da Informação publicou diretrizes em agosto sobre a identificação de conteúdo de serviços AIGC, exigindo a inclusão de pelo menos o nome do provedor de serviços em marcas d'água implícitas em imagens, conteúdos de áudio e vídeo gerados por IA.

Conclusão Os produtos de troca de rosto com IA, como uma aplicação significativa da inteligência artificial, trouxeram uma nova experiência a um grande número de usuários. No entanto, seu desenvolvimento conforme enfrenta desafios significativos. Por um lado, os produtos de troca de rosto com IA podem se tornar terrenos férteis para atividades maliciosas, gerando preocupações como os recentes incidentes de "desnudamento com um clique", vazamentos de informações faciais causando violações do direito de imagem, violações de direitos autorais e riscos de fraude.

Por outro lado, além das obrigações de conformidade mencionadas anteriormente, os produtos de troca de rosto com IA que processam informações faciais têm dificuldade em obter autorização para direitos autorais, direitos de imagem e outros direitos de todas as entidades envolvidas. Para os provedores de serviços de troca de rosto com IA, garantir o tratamento adequado das informações pessoais no quadro jurídico atual, cumprir os requisitos regulatórios necessários, como avaliações de impacto na segurança das informações pessoais e registros, e criar aplicações alinhadas com os valores dominantes são tarefas formidáveis.

O caminho à frente é difícil, mas a responsabilidade é substancial.