OpenAI gründet Team zur Kontrolle „superintelligenter“ KI

OpenAI gründet Team zur Kontrolle „superintelligenter“ KI wird von BTW Media profiliert, da veröffentlichte Belege eine Verbindung zu Internetinfrastruktur, Governance, operativen Abhängigkeiten oder Marktsichtbarkeit herstellen.

• Das Superalignment-Team von OpenAI, das mit der Überwachung „superintelligenter“ KI-Systeme beauftragt ist, erhielt die Zusage über 20% der Rechenleistung des Unternehmens. Allerdings stieß es häufig auf Ablehnung, wenn es auch nur einen Teil dieser Zuteilung anforderte, was seine Fortschritte behinderte.
• Neben verschiedenen Bedenken haben mehrere Teammitglieder, darunter der Co-Leiter Jan Leike, in dieser Woche gekündigt. Leike, ein ehemaliger Forscher bei DeepMind, der an der Entwicklung von ChatGPT, GPT-4 und dessen Vorgänger InstructGPT beteiligt war, nannte Probleme wie die Zuteilungsfrage als Gründe für seinen Weggang.
• Leike machte am Freitagmorgen einige seiner Kündigungsgründe öffentlich. „Ich bin seit einiger Zeit mit der Führung von OpenAI in Bezug auf die grundlegenden Prioritäten des Unternehmens uneins, bis wir schließlich einen Bruchpunkt erreicht haben“, schrieb Leike in einer Reihe von Beiträgen auf X.

Die Mitglieder des Superalignment-Teams von OpenAI, das fortgeschrittene KI-Systeme überwachen soll, wurden bedeutende Computerressourcen versprochen, sahen sich jedoch häufig mit Ablehnungen konfrontiert, was ihre Fortschritte behinderte. Dies führte zu mehreren Kündigungen, darunter die des Co-Leiters Jan Leike, der an der Entwicklung von ChatGPT, GPT-4 und dessen Vorgänger InstructGPT mitgewirkt hatte. Leike nannte Meinungsverschiedenheiten mit der Führung von OpenAI über Prioritäten und betonte die Notwendigkeit, sich auf die Vorbereitung zukünftiger KI-Modelle, Sicherheit, Alignment und gesellschaftliche Auswirkungen zu konzentrieren.

Lesen Sie auch:Reddit und OpenAI geben Partnerschaft bekannt

Das Superalignment-Team

OpenAI gründete das Superalignment-Team im Juli letzten Jahres unter der Leitung von Leike und OpenAI-Mitbegründer Ilya Sutskever, der ebenfalls in dieser Woche das Unternehmen verließ. Es hatte das ehrgeizige Ziel, die wichtigsten technischen Herausforderungen bei der Kontrolle superintelligenter KI in den nächsten vier Jahren zu lösen.

Bestehend aus Wissenschaftlern und Ingenieuren der ehemaligen Alignment-Abteilung von OpenAI sowie Forschern aus anderen Organisationen des Unternehmens, sollte das Team zur Sicherheitsforschung interner und nicht von OpenAI stammender Modelle beitragen und durch Initiativen wie ein Forschungsförderprogramm Arbeiten anfordern und mit der gesamten KI-Branche teilen.

Lesen Sie auch:OpenAI kündigt möglicherweise neues KI-Modell an, um direkt mit Google zu konkurrieren

Intelligentere Maschinen als der Mensch sind gefährlich

„Maschinen zu bauen, die intelligenter als Menschen sind, ist ein inhärent gefährliches Unterfangen“, sagte Leike. „Aber in den letzten Jahren sind die Sicherheitskultur und -prozesse hinter den glanzvollen Produkten in den Hintergrund getreten.“

Nach dem Ausscheiden von Leike übernahm John Schulman, ein weiterer OpenAI-Mitbegründer, die Leitung der Art von Arbeit, die das Superalignment-Team geleistet hatte, aber es wird kein dediziertes Team mehr geben – stattdessen handelt es sich um eine lose Gruppe von Forschern, die in die verschiedenen Unternehmensbereiche integriert sind. Ein Sprecher von OpenAI bezeichnete diesen Schritt als eine „tiefere Integration [des Teams]“.

Es wird befürchtet, dass die KI-Entwicklung von OpenAI dadurch nicht so sicherheitsorientiert sein wird, wie sie hätte sein können.