NIST startet Dioptra zum Testen der KI-Modellsicherheit

NIST startet Dioptra zum Testen der KI-Modellsicherheit wird von BTW Media profiliert, weil veröffentlichte Beweise es mit Internetinfrastruktur, Governance, Betriebsabhängigkeiten oder Marktsichtbarkeit verbinden.

• NIST hat Dioptra neu aufgelegt, ein Open-Source-Tool zur Messung der Auswirkungen von Angriffen auf KI-Systeme, insbesondere solchen, die auf Trainingsdaten abzielen.
• Dieses Tool soll Unternehmen und Nutzern helfen, KI-Risiken zu bewerten und zu verfolgen, und dient als Plattform für Benchmarking und Tests von KI-Modellen.

UNSERE MEINUNG
Das National Institute of Standards and Technology (NIST) hat Dioptra neu eingeführt, ein Open-Source-Webtool, das Schwachstellen und Leistungseinbußen von KI-Systemen durch Angriffe bewertet, insbesondere solche, die Trainingsdaten „vergiften“. Dieses Tool soll Organisationen dabei helfen, KI-Risiken zu bewerten und zu verwalten, indem es eine Plattform für Benchmarking und Tests von KI-Modellen gegen simulierte Bedrohungen bietet.
-Rae Li, BTW-Journalistin

Was passiert ist

Das National Institute of Standards and Technology (NIST) hat Dioptra neu aufgelegt, ein Open-Source-Webtool, das ursprünglich 2022 gestartet wurde.Dioptrawurde entwickelt, um die Auswirkungen von Angriffen auf die Leistung von KI-Systemen zu messen. Dieses modulare Tool kann Unternehmen und Nutzern helfen, KI-Risiken zu bewerten, zu analysieren und zu verfolgen, und dient als Plattform für Benchmarking und Modellforschung sowie zur Exposition gegenüber simulierten Bedrohungen in einer „Red-Teaming“-Umgebung. NIST betont, dass Dioptra Einblicke in die Arten von Angriffen geben kann, die die Leistung eines KI-Systems beeinträchtigen können, und diese Auswirkungen quantifizieren kann.

NIST hat auch Dokumente seines neuen Instituts für KI-Sicherheit veröffentlicht, die Strategien zur Minderung von KI-Gefahren beschreiben, wie etwa den potenziellen Missbrauch zur Erzeugung nicht einvernehmlicher Pornografie. Diese Bemühung ist Teil einer größeren Initiative im Anschluss an die KI-Verordnung von Präsident Joe Biden. Die Verordnung verpflichtet Unternehmen, die KI-Modelle entwickeln, wie Apple, die Bundesregierung zu informieren und die Ergebnisse aller Sicherheitstests zu teilen, bevor sie diese Modelle öffentlich einsetzen.

Daher sind die Entwicklung und Veröffentlichung von Dioptra wichtige Schritte in der fortlaufenden Zusammenarbeit zwischen den USA und dem Vereinigten Königreich zur Förderung von KI-Tests und -Sicherheit.

Lesen Sie auch:NIST startet Plattform zur Bewertung generativer KI

Lesen Sie auch:Singapurs Minister betont Notwendigkeit eines globalen KI-Rahmens

Warum das wichtig ist

Dies stellt einen bedeutenden Fortschritt im Bereich der KI-Sicherheit und des Risikomanagements dar, und die Neuauflage von Dioptra bietet Entwicklern und Nutzern von KI-Systemen eine wichtige Ressource, um die Anfälligkeit von KI-Modellen für Angriffe besser zu verstehen und zu bewerten. Durch simulierte Angriffe und „Red-Teaming“-Tests hilft Dioptra, potenzielle Sicherheitsbedrohungen zu identifizieren und zu quantifizieren, was die Entwicklung und Bereitstellung sichererer KI-Systeme erleichtert. Dies ist entscheidend, um Benutzerdaten zu schützen, die Vertraulichkeit zu wahren und den Missbrauch von KI-Technologien zu verhindern.

Darüber hinaus ist die Einführung von Dioptra eine Reaktion auf die KI-Verordnung von Joe Biden, die die Bedeutung von KI-Sicherheit und -Transparenz betont und Unternehmen, die KI-Modelle entwickeln, verpflichtet, die Ergebnisse von Sicherheitstests mit der Regierung zu teilen. Dies wird nicht nur das Vertrauen der Öffentlichkeit in die KI-Technologie stärken, sondern auch den Standard für die globale KI-Governance setzen.