KI-Krise durch Datenerschöpfung: Wie man einen drohenden Modellkollaps verhindert

KI-Krise durch Datenerschöpfung: Wie man einen drohenden Modellkollaps verhindert wird von BTW Media profiliert, weil veröffentlichte Beweise es mit Internet-Infrastruktur, Governance, Betriebsabhängigkeiten oder Marktsichtbarkeit verbinden.

Die ChatGPT-Technologie von OpenAI wurde in weniger als einem Jahr viral und hat bereits Auswirkungen auf Arbeitsweisen und die Zukunft der Industrie.

Die ChatGPT-Technologie von OpenAI wurde in weniger als einem Jahr viral und hat bereits Auswirkungen auf Arbeitsweisen und die Zukunft der Industrie. In einigen der größten Unternehmen der Welt nutzt bereits fast die Hälfte der Mitarbeiter diese Art von Technologie täglich. Unzählige Unternehmen haben in den Bereich der KI investiert und überstürzen sich, neue Produkte auf den Markt zu bringen, insbesondere im Internet, im Bildungs- und Gaming-Bereich sowie in anderen wachsenden Sektoren.

Es ist bekannt, dass die Daten, die zum Trainieren der großen Sprachmodelle (LLMs) und anderer Transformationsmodelle verwendet werden, die Produkte wie ChatGPT, Stable Diffusion und Midjourney unterstützen, ursprünglich aus menschlichen Quellen stammten. Diese Quellen umfassen Bücher, Artikel, Fotografien und andere vollständig originale Werke des Menschen.

Die Parameterzahl der großen Modelle wächst stetig, von Milliarden zu zig Milliarden und dann zu Hunderten von Milliarden. Hinzu kommt die exponentiell steigende Datenmenge, die zum Trainieren der KI benötigt wird. Nehmen wir das Beispiel von OpenAIs GPT: Von GPT-1 bis GPT-3 stieg die Größe des Trainingsdatensatzes von 4,5 GB auf 570 GB.

Vor kurzem schätzte Marc Andreessen, Gründer von a16z, auf der von Databricks organisierten Konferenz Data+AI, dass die massiven Daten, die das Internet in den letzten zwei Jahrzehnten angesammelt hat, ein wichtiger Grund für den Aufschwung einer neuen KI-Welle sind. Er betrachtet Daten als hervorragende Lernmaterialien für das Training von KI.

Trotz der enormen Menge an nützlichen und unnützen Daten, die Internetnutzer im Web hinterlassen haben, könnten diese Daten für das KI-Training bald erschöpft sein.

Ein von Epoch, einer Forschungs- und Prognoseorganisation für künstliche Intelligenz, veröffentlichter Artikel prognostiziert, dass hochwertige Textdaten zwischen 2023 und 2027 erschöpft sein werden.

Obwohl das Forschungsteam einräumt, dass die Analysemethoden ernsthafte Einschränkungen aufweisen und die Modellungenauigkeiten hoch sind, ist es schwer zu leugnen, dass KI Datensätze in alarmierendem Tempo verbraucht.

Kürzlich veröffentlichten Forscher der University of Cambridge, der University of Oxford, der University of Toronto und anderer Universitäten einen Artikel, der darauf hinweist, dass die Verwendung von KI-generierten Inhalten zum Training von KI zum Kollaps neuer Modelle führen kann.

Die Forscher kamen zu dem Schluss: 'Das Lernen aus Daten, die von anderen Modellen generiert wurden, führt zum Modellkollaps – ein Degradationsprozess, bei dem das Modell im Laufe der Zeit die wahre zugrunde liegende Datenverteilung vergisst. Dieser Prozess ist unvermeidbar, selbst in einer idealen Trainingssituation über einen langen Zeitraum.'

Was ist der Grund dafür, dass die Verwendung von 'generierten Daten' zum Training von KI den Modellkollaps verursacht? Gibt es eine Möglichkeit, dies zu verhindern?

Zu diesem Zeitpunkt befindet sich die KI noch in der primitiven Nachahmung des menschlichen Denkens, und ihr Kern bleibt ein statistisches Programm. Die Forscher glauben, dass das Training der KI mit KI-generierten Inhalten einen 'statistischen Approximationsfehler' erzeugt. Tatsächlich wird im statistischen Prozess der Inhalt mit höherer Wahrscheinlichkeit stärker verstärkt, und der Inhalt mit geringerer Wahrscheinlichkeit wird kontinuierlich ignoriert, was die Hauptursache für den Modellkollaps ist.

Dies beeinträchtigt die Leistung, Zuverlässigkeit und Sicherheit des Modells. Die Forscher warnen, dass der Modellkollaps ein ernstes Phänomen ist, das die Aufmerksamkeit von LLM-Entwicklern und Nutzern erfordert. 'Wir glauben, dass dieses Problem in den kommenden Jahren eine der größten Herausforderungen für die Machine-Learning-Community sein wird', erklärten sie.

Aber alle Hoffnung ist nicht verloren.

Der erste Ansatz ist die Datenisolierung. Um dem Modellkollaps zu begegnen, schlägt das Forschungsteam vor, die Quellen der von Menschen generierten Daten von den KI-generierten Inhalten zu trennen, um eine Kontamination der sauberen Daten durch generative KI (AIGC) zu vermeiden.

Der zweite Ansatz ist die Verwendung synthetischer Daten. Tatsächlich werden speziell für KI generierte Daten bereits häufig für das KI-Training verwendet. Für einige Praktiker könnte die derzeitige Sorge, dass KI-generierte Daten zum Modellkollaps führen, übertrieben sein. Daher ist der Schlüssel die Einrichtung eines effektiven Systems, um den gültigen Teil der KI-generierten Daten zu bestätigen und Feedback basierend auf der Effektivität des trainierten Modells zu geben. Die Verwendung synthetischer Daten durch OpenAI für das Modelltraining ist in der KI-Branche zu einem Konsens geworden.

Zusammenfassend lässt sich sagen, dass das Training von KI trotz des Problems der Erschöpfung menschlicher Daten nicht ohne Lösungen ist. Durch Datenisolierung und den Einsatz synthetischer Daten kann das Problem des Modellkollaps effektiv überwunden und die kontinuierliche Entwicklung der KI sichergestellt werden.