Microsoft-Sicherheitssystem kann Halluzinationen in seinen KI-Apps erkennen

Das Microsoft-Sicherheitssystem, das Halluzinationen in seinen KI-Apps erkennen kann, wird von BTW Media profiliert, da veröffentlichte Beweise es mit Internetinfrastruktur, Governance, betrieblichen Abhängigkeiten oder Marktsichtbarkeit in Verbindung bringen.

• Microsoft Azure führt neue Sicherheitsfunktionen für KI-Modelle ein, darunter Prompt Shields und Groundedness Detection, die darauf abzielen, Schwachstellen zu erkennen und schädliche Prompts zu blockieren.
• Diese Funktionen verbessern die Kontrolle über die Filterung unangemessener Inhalte und adressieren Bedenken hinsichtlich der Sicherheit von KI-Modellen.
• Microsofts Engagement für KI-Sicherheit steht im Einklang mit der Erweiterung der Azure-KI-Funktionen angesichts der wachsenden Nachfrage.

Microsofts Chief Product Officer für verantwortungsvolle KI, Sarah Bird, enthüllt gegenüber The Verge in einem Interview die Einführung neuer Sicherheitsfunktionen, die von ihrem Team für Azure-Kunden entwickelt wurden. Diese Funktionen, die auf LLM-Technologie basieren, zielen darauf ab, Schwachstellen zu erkennen, plausible, aber unbestätigte Szenarien zu überwachen und bösartige Prompts in Echtzeit für Benutzer zu blockieren, die Azure-KI-Modelle nutzen.

Auch lesen:Windows steht aufgrund der KI-Reorganisation von Microsoft unter neuer Leitung

Auch lesen:Microsoft Teams erhält intelligentere Copilot-KI-Funktionen

Es gibt verschiedene Funktionen zur Verbesserung der Sicherheit

Zu den Funktionen gehören Prompt Shields, Groundedness Detection und Sicherheitsbewertungen, mit zusätzlichen Funktionen wie der Ausrichtung von Modellen auf sichere Ausgaben und der Verfolgung von Prompts für problematische Benutzer. Insbesondere bewertet das System eingehende Prompts auf verbotene Wörter und versteckte Hinweise, bevor sie verarbeitet werden, um sicherzustellen, dass die Antworten den gewünschten Ergebnissen entsprechen.

Es kann Hassreden oder Gewalt in KI-Modellen filtern

Bird betont die anpassbare Kontrolle über die Filterung von Hassreden oder Gewalt in KI-Modellen und adressiert Bedenken hinsichtlich unangemessener Inhalte. Diese Sicherheitsmaßnahmen erstrecken sich auf beliebte Modelle wie GPT-4 und Llama 2, obwohl Benutzer kleinerer, weniger genutzter Open-Source-Modelle die Funktionen möglicherweise manuell konfigurieren müssen.

Microsofts Engagement für die Verbesserung der KI-Sicherheit steht im Einklang mit der wachsenden Nachfrage nach den KI-Fähigkeiten von Azure, unterstrichen durch aktuelle Partnerschaften zur Erweiterung des Modellangebots.