犯罪者が顔 AI アプリで詐欺：中国の事例がリスクを露呈

「犯罪者が顔 AI アプリを悪用しユーザーを欺く方法：中国の事例がリスクを暴露」は、公開された証拠がインターネットインフラ、ガバナンス、運用依存性、または市場の可視性に結びつくため、BTW Media によってプロファイルされています。

広州の個人が、AI を用いて市民の個人情報を違法に販売し、偽の顔認識動画の作成を可能にしたとして有罪判決を受け、懲役刑と罰金が科されました。Miaoya の成功について、業界関係者は、アプリが 1 日で 10 万元以上を稼いだ可能性があると推測しています。清華大学 AI 研究所（Tsinghua University AI Research Institute）がインキュベートするスタートアップ、RuiLai Intelligent のシニアプロダクトマネージャー、Zhang Tianyi 氏は、大規模モデルの普及に伴う AIGC 時代においてデータを保護することの重要性を強調しています。中国初の顔認識に関する民事公益訴訟 最近、広州インターネット裁判所は、AI を使って写真を動画に変換し、顔認証セキュリティソフトを回避した事件の詳細を発表しました。「Check Head」や「Pass Face」と呼ばれる、いわゆる企業が、ユーザーに写真をアップロードさせ、Zheng とのみ特定される人物がそれらを人物の顔の動画に変換し、銀行口座や決済サービスなどにアクセスしていました。中国では WeChat や Alipay などの決済プラットフォームがセキュリティ対策として顔認識を利用していることを考えると、悪意ある人物が友人や同僚、あるいは見知らぬ人の写真をアップロードして、銀行口座や決済サービスにアクセスすることが可能になります。Zheng

の供述によると、彼は特定の身分証明書番号に一致する個人写真を、SNS プラットフォームを通じて不特定のソースから購入し、1 枚あたり約 15～20 元で販売していました。その後、Ren、Dai、Chen という他の 3 人の共犯者が、Zheng のグループから市民の個人情報を購入し、1 枚あたり 50～100 元の金額を支払っていました。彼らは AI ソフトウェアを使用して、うなずいたり、まばたきしたりするなどの動きができる、偽の動的顔認識動画を作成していました。これらの動画は、アカウントのロック解除や特定のアプリでの実名認証に使用され、違法な利益を生み出していました。「Pass Face」サービスは、顔情報を取得し、合成ソフトウェアを使用して人物のシミュレーション動的動画を作成するものです。例えば、現在の顔認証プロセスで必要とされる、左右を見る、口を開ける、頭を傾けるといった動作も、合成動画で生成できます。アプリやアカウント認証の顔認証ステップで、動画の顔の鮮明度が必要基準に達している場合、システムはそれを実際の人間の操作と見なし、顔認証ステップをバイパスしてアカウントのハイジャックに成功します。容疑者の自白によると、顔認識システムを突破した後、犯罪者は WeChat などのアプリで他人のアカウントにアクセスし、チャット履歴、支払い記録、移動経路などの個人情報を取得することができました。司法審査の結果、4 人は 2000 件以上の個人情報を違法に処理し、違法収益が 15,000

ドルを超えたとして有罪判決を受けました。彼らは 1 年 2 か月から 1 年の懲役刑を言い渡され、それぞれに罰金が科されました。合わせて読みたい：汎用 AI の黙示録？

落ち着いて、それは誇張に過ぎない。AI 顔交換アプリの衰えない人気 この事件は、数多く存在し非常に人気のあるこれらの顔認識アプリにおける個人情報の露出と悪用の可能性について、中国で大きな議論を引き起こしました。AI 顔交換ソフトウェアは、主にディープフェイクなどの技術を使用しています。Hugging Face、Reface、DeepArt、FaceShow、DeepFaceLive などの市販の AI 顔交換アプリが広く利用可能です。中国では、プライバシーへの懸念から、AI 顔交換技術は過去に批判されてきました。昨年 8 月、AI ポートレートアプリ「Miaoya Camera」が突然人気を博し、ユーザーが共有する AI 生成のポートレートがソーシャルメディアを席巻しました。- ユーザーは右下隅の写真を適用して AI 写真に変換します - デジタルアバターを作成するための初回料金 1.39 ドルは、プロの写真スタジオの高額な費用と比較すると、無視できるほどに思えました。参加者が増えるにつれて、アプリの処理速度は低下し、リリース 2 日目の夜にはポートレート生成の待ち行列が 2000 人を超えたとの報告がありました。Miaoya の成功について、業界関係者は、アプリが 1 日で 10 万元以上を稼いだ可能性があると推測していました。Miaoya チームによると、アプリの背後にある AI モデルは「Tiziano」と呼ばれ、肖像芸術の巨匠 Tiziano Vecellio

にちなんで名付けられました。モデルの技術的詳細は公式には明らかにされていませんが、Miaoya は SD のような大規模なオープンソースモデルをベースに、ユーザー向けにカスタマイズするよう微調整した可能性が高いです。Miaoya を使用するには、ユーザーは鮮明な正面写真と、照明、背景、角度、表情が異なる少なくとも 20 枚の追加写真をアップロードする必要があります。デジタルアバターが作成されると、ユーザーはビンテージ、森林テーマ、プロフェッショナル、油絵スタイルなど、30 以上の公開ソースのポートレートコンテキストから選択できます。当初、Miaoya の利用規約は、AI 生成コンテンツをさまざまな目的に無制限に使用することを許可しており、大きな反発を招きました。しかし、同社は情報がどのように使用されるかについて明確な回答をしませんでした。その後、同社は謝罪し、条件を改訂し、写真はデジタルアバターの作成にのみ使用され、完了後に自動的に削除されることを保証しました。改訂された規約では、識別可能な情報の違法な保持、入力された情報に基づくユーザープロファイルの作成、ユーザーが入力した情報の第三者への提供が明示的に禁止されています。「AI ポートレートがオフラインの写真ブースに取って代わるというのは時期尚早です」と北京社会科学院の Wang Peng 研究員（北京社会科学院研究員）は述べています。Wang Peng 氏は、AI ポートレートが AIGC

時代に人気を博しているものの、真のビジネスモデルの構築にはまだ多大な努力が必要だと考えています。推論の計算能力に対する需要はトレーニングのそれを上回っており、計算能力のコストは依然として AIGC アプリケーションのボトルネックとなっています。「AI ポートレートがオフラインの写真ブースに取って代わるのは時期尚早だ」と彼はまた述べました。AI 顔交換サービスプロバイダーのコンプライアンス要件 清華大学 AI 研究所（Tsinghua University AI Research Institute）がインキュベートするスタートアップ、RuiLai Intelligent のシニアプロダクトマネージャー、Zhang Tianyi 氏は、大規模モデルの普及に伴う AIGC 時代においてデータを保護することの重要性を強調しています。「AIGC モデルの悪用は、ディープフェイクや拡散モデルによって生成される誤解を招くコンテンツなど、コンテンツのコンプライアンス問題を引き起こし、ユーザーを欺き、有害な社会的影響をもたらす可能性があります。」AIGC ガバナンスに関する最近の規制文書が中国の中央および地方政府によって急速に発表されています：AI アルゴリズムの登録 前述のように、AI 顔交換ソフトウェアはディープフェイク技術に依存しており、これは中国において世論形成や社会動員の能力を持つ AIGC

サービスの提供のカテゴリーに該当します。プロバイダーは、「インターネット情報サービスアルゴリズム推薦管理規定」に定められたアルゴリズム登録手続きに従う必要があります。個人情報保護影響評価（PIA） サービス提供中に機密性の高い個人情報を扱う AIGC サービスプロバイダーは、データ処理の法的およびコンプライアンス面を評価するために PIA を実施する必要があります。PIA では、個人情報処理の合法性、必要性、適切性、個人の権利への潜在的影響、セキュリティリスク、保護措置の有効性を評価する必要があります。PIA 報告書と取られた措置の記録は、最低 3 年間保管する必要があります。PIA は、個人情報保護法に基づく法的義務です。この義務を履行しない AI 顔交換サービスプロバイダーは、管轄当局から是正措置、警告、違法利益の没収、罰金などの制裁を受ける可能性があります。AI 生成コンテンツの識別 AIGC サービスプロバイダーとして分類される AI 顔交換サービスプロバイダーは、「インターネット情報サービスにおける深層合成管理規定」に従って生成されたコンテンツを識別する必要があります。全国情報安全標準化技術委員会は 8 月に、AIGC サービスのコンテンツ識別に関するガイドラインを発表し、AI 生成の画像、音声、動画コンテンツに少なくともサービスプロバイダー名を含む暗黙的な透かしを入れることを義務付けました。最終的に AI

顔交換製品は、人工知能の重要な応用として、多くのユーザーに新しい体験をもたらしました。しかし、そのコンプライアンスに沿った発展は大きな課題に直面しています。一方で、AI 顔交換製品は悪意ある活動の温床となる可能性があり、最近の「ワンクリック脱衣」事件、顔情報の漏洩による肖像権侵害、著作権侵害、詐欺のリスクなどの懸念を引き起こしています。他方、前述のコンプライアンス義務に加えて、顔情報を扱う AI 顔交換製品は、すべての関係者の著作権、肖像権、その他の権利について許可を得ることが困難です。AI 顔交換サービスプロバイダーにとって、現在の法的枠組みの中で個人情報を適切に取り扱い、個人情報セキュリティ影響評価や登録などの必要な規制要件を満たし、支配的な価値観に準拠したアプリケーションを作成することは困難な課題です。今後の道のりは困難ですが、責任は重大です。