NIST veröffentlicht Dioptra-Tool zur KI-Sicherheit neu

NIST re-releases Dioptra tool to combat AI security threats wird von BTW Media profiliert, weil veröffentlichte Belege es mit Internet-Infrastruktur, Governance, betrieblichen Abhängigkeiten oder Marktsichtbarkeit in Verbindung bringen.

• Das National Institute of Standards and Technology (NIST) hat Dioptra neu aufgelegt, ein Testwerkzeug, das entwickelt wurde, um die Auswirkungen böswilliger Angriffe auf KI-Systeme zu messen.
• Sein Open-Source-Charakter macht es für Regierungsbehörden und kleine Unternehmen zugänglich und fördert Transparenz und Vertrauen in KI-Technologien.

UNSERE MEINUNG
Erinnern Sie sich, als wir alle wegen Deepfakes in Panik gerieten? Nun, NISTs Dioptra ist zurück wie ein Cyber-Ritter in glänzender Rüstung, bereit, das Metall der KI gegen böswillige Angriffe zu testen. Es ist, als hätte man einen Sicherheitsdienst für seine KI, der sicherstellt, dass sie nicht durch falsche Daten getäuscht wird oder außer Kontrolle gerät. Aber seien wir realistisch, es ist keine Wunderlösung. Mit GPT-4 und anderen großen Kalibern scheint die Reichweite von Dioptra etwas begrenzt zu sein und konzentriert sich nur auf lokal gehostete Modelle. Dennoch ist es ein Schritt in die richtige Richtung.
– Miurio Huang, BTW-Journalist

Was passiert ist

DasNational Institute of Standards and Technology (NIST), eine Behörde des US-Handelsministeriums, hatDioptraneu aufgelegt, ein Testwerkzeug, das entwickelt wurde, um die Auswirkungen böswilliger Angriffe auf KI-Systeme zu messen. Ursprünglich im Jahr 2022 eingeführt, ist Dioptra ein modulares Open-Source-Webtool, das Unternehmen und Einzelpersonen hilft, KI-Risiken zu bewerten, zu analysieren und zu verfolgen, wobei der Schwerpunkt auf Angriffen liegt, die die Trainingsdaten von KI-Modellen „vergiften“.

Dioptra zielt darauf ab, die Vergleichsanalyse und Erforschung von KI-Modellen zu unterstützen, indem es eine gemeinsame Plattform bereitstellt, um Modelle simulierten Bedrohungen in einer „Red-Teaming“-Umgebung auszusetzen. Diese Neuauflage wird von Dokumenten des NIST und des kürzlich gegründeten AI Safety Institute begleitet, die Strategien zur Minderung der Gefahren von KI beschreiben, einschließlich der Erzeugung nicht einvernehmlicher Pornografie.

Lesen Sie auch:Singapurischer Minister betont die Notwendigkeit eines globalen KI-Rahmens

Lesen Sie auch:NIST startet Plattform zur Bewertung generativer KI

Warum das wichtig ist

Die Neuauflage von Dioptra ist wichtig, um Bedenken hinsichtlich der Sicherheit und Zuverlässigkeit von KI-Modellen in verschiedenen Sektoren zu begegnen. Das Tool simuliert und bewertet gegnerische Angriffe und hilft Organisationen, Schwachstellen zu identifizieren und Abwehrstrategien zu entwickeln. Sein Open-Source-Charakter macht es für Regierungsbehörden und kleine Unternehmen zugänglich und fördert Transparenz und Vertrauen in KI-Technologien.

Diese Neuauflage steht im Einklang mit der Durchführungsverordnung von Präsident Joe Biden zur KI, die verlangt, dass das NIST bei der Prüfung von KI-Systemen hilft und Standards für die KI-Sicherheit festlegt. Die Verordnung verpflichtet Unternehmen, die Bundesregierung zu informieren und die Ergebnisse von Sicherheitstests vor dem Einsatz von KI-Modellen weiterzugeben, um eine verantwortungsvolle Entwicklung zu gewährleisten und die Risiken für die Gesellschaft zu minimieren.

Trotz seiner Einschränkungen, wie der Unterstützung nur lokal herunterladbarer Modelle und nicht der über APIs wie GPT-4 zugänglichen, ist Dioptra ein entscheidender Fortschritt bei der Bewertung von KI-Risiken. Es hilft zu verstehen, wie Angriffe die KI-Leistung beeinträchtigen können, und liefert Daten zu diesen Auswirkungen, wodurch die KI-Sicherheit gestärkt und zur Entwicklung robuster und zuverlässiger KI-Systeme beigetragen wird.