OpenAI、「超知能」AI を制御するチームを設立

「OpenAI created a team to control ‘superintelligent’ AI」は、公開された証拠がインターネットインフラ、ガバナンス、運用上の依存関係、または市場の可視性に関連しているため、BTW Media によってプロファイルされています。

• OpenAI の Superalignment チームは、「超知能」AI システムを監督する任務を負い、同社の計算能力の 20%を保証されていた。しかし、その割り当ての一部さえも要求が頻繁に拒否され、進捗が妨げられた。
• さまざまな懸念の中、共同責任者の Jan Leike を含む複数のチームメンバーが今週辞任した。DeepMind の元研究者で、ChatGPT、GPT-4、およびその前身の InstructGPT の開発に関わった Leike は、割り当ての問題などを辞任の理由として挙げた。
• Leike は金曜朝、辞任の理由の一部を公表した。「OpenAI の経営陣とは根本的な優先事項について長い間意見が合わず、ついに決裂点に達した」と Leike は X への一連の投稿で述べた。

高度な AI システムを導くために設立された OpenAI のSuperalignment チームのメンバーは、大規模な計算リソースを約束されていたが、しばしば要請が拒否され、進捗が妨げられた。これにより、ChatGPT、GPT-4、およびその前身の InstructGPT の開発に貢献した共同責任者 Jan Leike を含む複数の辞任が発生した。Leike は優先事項に関する OpenAI の経営陣との意見の相違を挙げ、将来の AI モデルの準備、安全性、セキュリティ、アラインメント、および社会的影響に焦点を当てる必要性を強調した。

関連記事：Reddit と OpenAI がパートナーシップを発表

Superalignment チーム

OpenAI は昨年 7 月、Leike と OpenAI の共同創業者 Ilya Sutskever が率いる Superalignment チームを設立した。Sutskever も今週同社を辞任した。このチームは、今後 4 年間で超知能 AI を制御するという中核的な技術的課題の解決を野心的な目標としていた。OpenAI の旧アラインメント部門の科学者やエンジニア、および社内の他の組織の研究者で構成されたチームは、内部および OpenAI 以外のモデルの安全性に関する研究に貢献し、研究助成プログラムを含む取り組みを通じて、AI 業界全体と研究を共有・募集する予定だった。

Superalignment チームは、安全性に関する研究をいくつか発表し、外部研究者に数百万ドルの助成金を提供することに成功した。しかし、OpenAI の経営陣の帯域幅が製品発表にますます取られるようになるにつれ、Superalignment チームは、人間全体に利益をもたらす超知能 AI の開発という同社の使命に不可欠と考えられる先行投資をさらに求めて奮闘しなければならなくなった。

関連記事：OpenAI、Google に対抗する新 AI モデルを発表か

人間より賢い機械は危険

「人間より賢い機械を作ることは本質的に危険な事業だ」と Leike は述べた。「しかし近年、安全性の文化とプロセスは輝かしい製品の影に隠れてしまった」

Leike の退職後、OpenAI の別の共同創業者である John Schulman が Superalignment チームの作業を引き継いだが、専任チームはもはや存在せず、代わりに様々な部門に統合された緩やかに連携した研究者グループになる。OpenAI の広報担当者は、この動きを「[チームの]より深い統合」と説明した。

その結果、OpenAI の AI 開発が、本来あるべきほど安全性に重点を置かなくなるのではないかという懸念がある。