Wie Kriminelle KI-Gesichts-Apps nutzten, um Nutzer zu betrügen: Eine Fallstudie aus China zeigt die Risiken

Wie Kriminelle KI-Gesichts-Apps nutzten, um Nutzer zu betrügen: Eine Fallstudie aus China zeigt die Risiken wird von BTW Media profiliert, weil veröffentlichte Beweise es mit Internetinfrastruktur, Governance, betrieblichen Abhängigkeiten oder Marktsichtbarkeit verbinden.

In Guangzhou wurden Personen verurteilt, weil sie illegal persönliche Informationen von Bürgern verkauft hatten, indem sie KI einsetzten, um gefälschte Gesichtserkennungsvideos zu erstellen, was zu Gefängnisstrafen und Geldstrafen führte. Zum Erfolg von Miaoya spekulierten Brancheninsider, dass die App an einem einzigen Tag mehr als 100.000 ¥ verdient haben könnte. Zhang Tianyi, leitender Produktmanager bei RuiLai Intelligent, einem Startup, das vom KI-Forschungsinstitut der Tsinghua-Universität inkubiert wird, betont die Bedeutung der Datensicherung im Zeitalter von AIGC mit der weit verbreiteten Anwendung großer Modelle.

Der erste zivilrechtliche Prozess im öffentlichen Interesse in China zur Gesichtserkennung. Kürzlich veröffentlichte das Internetgericht von Guangzhou Informationen zu einem Fall, in dem KI verwendet wurde, um Fotos in Videos umzuwandeln, um Gesichtsscan-Sicherheitssoftware zu umgehen. Die sogenannten Unternehmen, genannt „Check Head" und „Pass Face", ermöglichten Nutzern, Fotos hochzuladen, die der nur als Zheng identifizierte Mann dann in animierte Videos des Gesichts der Person umwandelte, um auf deren Bankkonten und Zahlungsdienste zuzugreifen.

Angesichts der Verbreitung von Zahlungsplattformen wie WeChat und Alipay in China, die Gesichtserkennung als Sicherheitsmaßnahme verwenden, würde dies böswilligen Personen ermöglichen, Fotos von Freunden, Kollegen oder sogar Fremden hochzuladen, um auf Bankkonten und Zahlungsdienste zuzugreifen. Laut Zhengs Geständnis kaufte er persönliche Fotos, die bestimmten Ausweisnummern entsprachen, von nicht näher bezeichneten Quellen über soziale Plattformen und bot sie für etwa 15 bis 20 Yuan pro Foto an.

Drei weitere Täter, genannt Ren, Dai und Chen, kauften dann die persönlichen Informationen der Bürger von Zhengs Gruppe und zahlten unterschiedliche Beträge zwischen 50 und 100 Yuan pro Foto. Sie verwendeten KI-Software, um gefälschte dynamische Gesichtserkennungsvideos zu erstellen, die in der Lage sind, den Kopf zu nicken, zu blinzeln und andere Bewegungen auszuführen. Diese Videos wurden verwendet, um Konten zu entsperren und die Authentifizierung des echten Namens in bestimmten Apps zu verifizieren, was illegale Gewinne generierte.

Der Dienst „Pass Face" besteht darin, Gesichtsinformationen zu erfassen und Synthesesoftware zu verwenden, um simulierte dynamische Videos einer Person zu erstellen. Zum Beispiel können Aktionen, die in aktuellen Gesichtsverifizierungsprozessen erforderlich sind, wie nach links oder rechts schauen, den Mund öffnen oder den Kopf neigen, durch synthetisierte Videos erzeugt werden.

Während des Gesichtsverifizierungsschritts in Apps oder der Kontoverifizierung, wenn die Gesichtsschärfe des Videos die erforderlichen Standards erreicht, betrachtet das System es als echte menschliche Operation und umgeht erfolgreich den Gesichtsverifizierungsschritt, um das Ziel des Kontodiebstahls zu erreichen. Laut dem Geständnis des Verdächtigen können Kriminelle, nachdem sie die Gesichtserkennungssysteme umgangen haben, auf die Konten anderer Personen in Apps wie WeChat zugreifen und private persönliche Informationen wie Chatverläufe, Zahlungsaufzeichnungen und Reiserouten erhalten.

Nach gerichtlicher Prüfung wurden die vier Personen für schuldig befunden, illegal mehr als 2.000 persönliche Informationen verarbeitet zu haben, mit illegalen Gewinnen von über 15.000 Dollar. Sie wurden zu Gefängnisstrafen zwischen einem Jahr und zwei Monaten und einem Jahr verurteilt, und jedem wurden Geldstrafen auferlegt. Lesen Sie auch: Apokalypse der allgemeinen KI? Entspannen Sie sich, es ist mehr Hype als Realität. Ungebrochene Popularität von KI-Gesichtstausch-Apps.

Der Fall hat in China eine breite Debatte über die Offenlegung und den möglichen Missbrauch persönlicher Informationen in diesen Gesichtserkennungs-Apps ausgelöst, die zahlreich und unglaublich beliebt sind. KI-Gesichtstausch-Software verwendet hauptsächlich Techniken wie Deepfakes. Kommerzielle KI-Gesichtstausch-Apps wie Hugging Face, Reface, DeepArt, FaceShow und DeepFaceLive sind weit verbreitet. In China wurden KI-Gesichtstausch-Technologien in der Vergangenheit aufgrund von Datenschutzbedenken kritisiert.

Im August letzten Jahres erlangte die KI-Porträt-App „Miaoya Camera" plötzlich Popularität und überschwemmte soziale Medien mit von Benutzern geteilten KI-generierten Porträts. - Der Benutzer wendet das Foto unten rechts an, um es in ein KI-Foto umzuwandeln. - Der anfängliche Preis von 1,39 Dollar für die Erstellung eines digitalen Avatars schien im Vergleich zu den hohen Kosten professioneller Fotostudios vernachlässigbar. Je mehr Personen beitraten, desto langsamer wurde die Verarbeitungsgeschwindigkeit der App, wobei Berichte über mehr als 2.000 Personen, die am zweiten Abend ihres Starts auf die Porträtgenerierung warteten, kursierten.

Zum Erfolg von Miaoya spekulierten Brancheninsider, dass die App jeden Tag mehr als 100.000 ¥ verdient haben könnte. Laut dem Miaoya-Team heißt das KI-Modell hinter der App „Tiziano", inspiriert vom Meister der Porträtmalerei Tiziano Vecellio. Obwohl die technischen Details des Modells nicht offiziell bekannt gegeben wurden, ist es wahrscheinlich, dass Miaoya auf großen Open-Source-Modellen wie SD basierte und diese für die Benutzeranpassung verfeinerte. Um Miaoya zu nutzen, müssen Benutzer ein klares Frontfoto und mindestens 20 weitere Fotos mit unterschiedlicher Beleuchtung, Hintergründen, Winkeln und Ausdrücken hochladen.

Sobald der digitale Avatar erstellt ist, können Benutzer aus über 30 öffentlichen Quellkontexten für Porträts wählen, darunter Vintage-, Waldthemen-, Business- und Ölgemäldestile. Ursprünglich erlaubten die Bedingungen von Miaoya die uneingeschränkte Nutzung des KI-generierten Inhalts für verschiedene Zwecke, was einen Aufschrei auslöste. Das Unternehmen gab jedoch keine klare Antwort darauf, wie die Informationen verwendet werden. Das Unternehmen entschuldigte sich später und überarbeitete die Bedingungen, um sicherzustellen, dass die Fotos nur für die Erstellung digitaler Avatare verwendet und nach Abschluss automatisch gelöscht werden.

Die überarbeiteten Bedingungen verbieten ausdrücklich die illegale Speicherung identifizierbarer Informationen, die Erstellung von Benutzerprofilen basierend auf den eingegebenen Informationen und die Weitergabe der vom Benutzer eingegebenen Informationen an Dritte. „Es ist zu früh, um zu sagen, dass KI-Porträts Offline-Fotokabinen ersetzen werden." Wang Peng, assoziierter Forscher an der Peking-Akademie für Sozialwissenschaften, glaubt, dass KI-Porträts zwar im Zeitalter von AIGC an Popularität gewonnen haben, die Bildung eines echten Geschäftsmodells jedoch noch erheblicher Anstrengungen bedarf.

Die Nachfrage nach Rechenleistung für Inferenz übersteigt die für das Training, und die Kosten für Rechenleistung bleiben ein Engpass für AIGC-Anwendungen. „Es ist zu früh, um zu sagen, dass KI-Porträts Offline-Fotokabinen ersetzen werden", sagte er ebenfalls. Compliance-Anforderungen für Anbieter von KI-Gesichtstauschdiensten. Zhang Tianyi, leitender Produktmanager bei RuiLai Intelligent, einem Startup, das vom KI-Forschungsinstitut der Tsinghua-Universität inkubiert wird, betont die Bedeutung der Datensicherung im Zeitalter von AIGC mit der weit verbreiteten Anwendung großer Modelle.

„Der Missbrauch von AIGC-Modellen kann zu Problemen mit der Inhaltskonformität führen, einschließlich irreführender Inhalte, die durch Deepfakes und Diffusionsmodelle erzeugt werden, die Benutzer in die Irre führen und nachteilige soziale Auswirkungen haben können." Aktuelle regulatorische Dokumente zur Governance von AIGC wurden schnell von den zentralen und lokalen Behörden in China veröffentlicht: Registrierung von KI-Algorithmen Wie bereits erwähnt, basiert KI-Gesichtstausch-Software auf Deepfake-Technologie, die in die Kategorie der AIGC-Dienste mit Meinungsbildungs- oder sozialen Mobilisierungsfähigkeiten in China fällt.

Anbieter müssen die in der „Verordnung über die Verwaltung von Algorithmusempfehlungen für Internetinformationsdienste" beschriebenen Algorithmusregistrierungsverfahren befolgen. Bewertung der Auswirkungen auf den Schutz personenbezogener Daten (PIA) Anbieter von AIGC-Diensten, die bei der Erbringung von Dienstleistungen sensible personenbezogene Daten verarbeiten, müssen eine PIA durchführen, um die rechtlichen und compliancebezogenen Aspekte ihrer Datenverarbeitung zu bewerten.

Die PIA muss die Rechtmäßigkeit, Notwendigkeit und Angemessenheit der Verarbeitung personenbezogener Daten, die potenziellen Auswirkungen auf die Rechte Einzelner, die Sicherheitsrisiken und die Wirksamkeit der Schutzmaßnahmen bewerten. PIA-Berichte und Aufzeichnungen der ergriffenen Maßnahmen müssen mindestens drei Jahre lang aufbewahrt werden. Die PIA ist eine gesetzliche Verpflichtung nach dem Gesetz zum Schutz personenbezogener Daten.

Anbieter von KI-Gesichtstauschdiensten, die dieser Verpflichtung nicht nachkommen, können mit Korrekturmaßnahmen, Verwarnungen, Einziehung illegaler Gewinne, Geldstrafen und anderen Sanktionen durch die zuständigen Behörden rechnen. Kennzeichnung von KI-generierten Inhalten Anbieter von KI-Gesichtstauschdiensten, die als AIGC-Dienstanbieter eingestuft werden, müssen KI-generierte Inhalte gemäß der „Verordnung über die Verwaltung von Deep-Synthesis-Internetinformationsdiensten" kennzeichnen.

Das Nationale Technische Komitee für Informationssicherheitsnormen veröffentlichte im August Richtlinien zur Kennzeichnung von Inhalten von AIGC-Diensten, die die Aufnahme mindestens des Namens des Dienstanbieters in unsichtbare Wasserzeichen auf KI-generierten Bildern, Audio- und Videoinhalten verlangen. Fazit KI-Gesichtstauschprodukte haben als bedeutende Anwendung künstlicher Intelligenz einer großen Anzahl von Benutzern ein neuartiges Erlebnis gebracht. Ihre konforme Entwicklung steht jedoch vor erheblichen Herausforderungen.

Einerseits können KI-Gesichtstauschprodukte zu einem Nährboden für böswillige Aktivitäten werden und zu Bedenken wie den jüngsten „Ein-Klick-Entkleidungs"-Vorfällen, Lecks von Gesichtsinformationen, die zu Verletzungen des Rechts am eigenen Bild führen, Urheberrechtsverletzungen und Betrugsrisiken führen. Andererseits haben KI-Gesichtstauschprodukte, die Gesichtsinformationen verarbeiten, neben den zuvor genannten Compliance-Verpflichtungen Schwierigkeiten, die Genehmigung für Urheberrechte, Persönlichkeitsrechte und andere Rechte aller beteiligten Parteien zu erhalten.

Für Anbieter von KI-Gesichtstauschdiensten ist es eine gewaltige Aufgabe, eine angemessene Verarbeitung personenbezogener Daten im aktuellen rechtlichen Rahmen sicherzustellen, erforderliche regulatorische Anforderungen wie Bewertungen der Auswirkungen auf die Sicherheit personenbezogener Daten und Registrierungen zu erfüllen und Anwendungen zu schaffen, die den vorherrschenden Werten entsprechen. Der Weg vor uns ist schwierig, aber die Verantwortung ist erheblich.