ビッグデータは AI の未来か？

「ビッグデータは AI の未来か？」は、公開された証拠がインターネットインフラ、ガバナンス、運用依存関係、または市場の可視性に関連付けられているため、BTW Media によってプロファイルされています。

テクノロジー大手 Tencent は 12 月 14 日、北京の中国国家会議センターで「知能が出現し、万物を開く」をテーマにした Hi Tech Day と Digital Open Things 2023 カンファレンスを開催した。Jiang Chunyu 氏は、中国の AI 開発には学習可能な高品質データセットが急務であると述べた。Jiang 氏は、AI データガバナンスに関する白書が間もなく公開され、同分野の方法とルールの体系を築くことを明かした。中国はデジタルトランスフォーメーションを加速し、デジタル格差を是正しており、データ、クラウドコンピューティング、人工知能、量子コンピューティングなどの新技術の応用を強力に支援している。テクノロジー大手 Tencent は、「知能が出現し、デジタルが万物を開く」をテーマにした Hi Tech Day と Digital Open Things 2023 を 12 月 14 日に北京の中国国家会議センターで開催し、各界の著名人を招いて人工知能のトレンドについて議論した。会議では、中国情報通信研究院のクラウドデータ・ブロックチェーン部門ディレクターである Jiang Chunyu 氏が「AI データガバナンスが考えるきっかけ」と題する講演を行った。

高品質な大規模データベースが次の進化目標である。「市場には、特に中国の文脈では、高品質なデータの多くが隠されており、学習可能な高品質データセットは多くありません。データを解放し、誰もが利用できるようにする商業化可能でオープンなモデルを経由するか、どのモデルがデータを解放できるかを決定することが急務です。」と中国情報通信研究院のクラウドデータ・ブロックチェーン部門ディレクターJiang Chunyu 氏は述べた。

2018 年以降、汎用 AI が技術の波をリードしている。各方面が大規模モデルのトレーニングに全力を注ぎ、巨額の資金を投じ、巨大な競争トレンドを生み出している。しかし、Jiang Chunyu 氏は、国家としての発展はデータの改善に焦点を当てるべきであり、量だけでなく質の向上が重要だと考える。天然のデータ大国である中国は、各方面間のアルゴリズムやコンピューティングの差が小さいことに固執するよりも、分野の「内巻き」がもたらす莫大なコストよりも、データの質を高めることで、より良い成果を得られる可能性がある。

同氏は大規模モデルのトレーニングに必要な大規模で多様かつ高品質なデータセットを聴衆に列挙した：4、5 年前の GPT-1 は 4.8GB の高品質データを必要とし、GPT-2 は 40GB に達し、GPT-3 は 570GB、そして今年、Meta はデータベースのサイズが驚異的な 4,000GB に達する大規模モデルを発表した。

Jiang 氏は懸念を表明した：「市場には、特に中国の文脈では、高品質なデータの多くが隠されており、学習可能な高品質データセットは多くありません。データを解放し、誰もが利用できるようにする商業化可能でオープンなモデルを経由するか、どのモデルがデータを解放できるかを決定することが急務です。」

あわせて読みたい：Amazon Q AI アシスタント：AWS がデータ照会の革新的アプローチを開始

Jiang Chunyu 氏：データ管理、セキュリティ、保護の確立が急務

Jiang 氏は現在の業界発展における三つの問題を提起した：データの品質が全般的に偏っていること。低品質のデータセットを高品質に変えるために、Jiang 氏は統合されたデータエンジニアリングと DevOps R&D オペレーションのシステムを確立する必要性を強調した。R&D のデリバリーからデータの運用・保守、価値創出に至るまで、完全なデータ生産チェーンまたはサプライチェーンが形成され、データが秩序立って提供され、段階的に関連付けられて公開された生産証跡を形成する。これは従来の構造化データ処理とは異なる。また、同氏は参加企業に対し、データ品質の改善が完了する前にモデルトレーニングに多大な時間を費やさないよう警告した。トレーニングには何千万ドルものコストがかかるが、成果が出ない可能性がある。驚くべきことに、彼らのチームは AI トレーニングの方法論とフレームワークを整理し、人工知能データガバナンス白書を完成させ、この分野における方法とルールの体系を確立しようとしている。

セキュリティとプライバシーの問題。Jiang 氏は次のように述べた：「トレーニングプロセス全体には、アプリケーションの権利、個人情報収集の違反、安全でないデータ転送、データ改ざん、モデルの安全でない保存と転送など、多数のセキュリティとプライバシーの問題が含まれている。さらに、Prompt タイプの攻撃や生成コンテンツの違反などの問題もある。モデルの生産、使用、運用のライフサイクル全体を通じてプライバシーとセキュリティを確保するために、私たちはさまざまな技術を習得し、適切なルールを確立し、監査人と監督者の能力を全体的に構成しなければならない。これはデータセキュリティとプライバシーの進化する課題に対処するために注意と投資を必要とする全く新しい分野である。」

生成および合成コンテンツの管理。合成データであっても詐欺であってはならない。したがって、真実性と正確性の測定が特に重要となる。さらに、有害性の検出と防止も喫緊の課題である。現在、多くの大規模モデルが、生成コンテンツにおけるハラスメント、暴力、差別などの問題を理由に報告されている。これらの問題は効果的に管理されなければならない。別途、真実性と正確性の要件はルールによって枠組み化できる；コンテンツ生成の要件、監視メカニズム、真実性評価は、コンテンツ識別の自動検出とフィルタリングを手動検証と組み合わせることで実現できる；そして、有害性問題の防止は、ルール制約、ラインプレディクション、経験的プライバシー評価、プライバシー攻撃テストの使用によって効果的に管理できる。