Wang Xiaochuan（Sogou 創業者）が設立した Baichuan Intelligence は、次世代大規模言語モデル Baichuan-13B を発表した。
Wang Xiaochuan（Sogou 創業者）が設立した Baichuan Intelligence は、次世代大規模言語モデル Baichuan-13B を発表した。清華大学出身のコンピュータの天才である Wang 氏は、OpenAI の中国版を創ることを目指している。Baichuan は中国で最も有望な大規模言語モデル（LLM）開発企業の一つと見なされている。このモデルは OpenAI の GPT と同様に Transformer アーキテクチャに基づき、130 億のパラメータを持ち、中国語と英語のデータで訓練されている。Baichuan-13B はオープンソースであり、商用アプリケーションに最適化されている。
GPT-3.5 に匹敵する訓練データ
Baichuan-13B は 1.4 兆トークンで訓練されており、Meta の LLaMa モデル（同サイズの 130 億パラメータモデルに 1 兆トークンを使用）を上回っている。Wang 氏は年内に OpenAI の GPT-3.5 に匹敵する大規模モデルを投入する意向を表明している。Baichuan は短期間で大きな進展を遂げ、4 月末にはチームを 50 人に増やし、6 月には初の LLM である Baichuan-7B をリリースした。
Baichuan-13B は現在、商用利用を希望する承認済みの学術研究者や開発者に無料で提供されている。このモデルは特に、一般消費者向けハードウェアで動作するバリアントを提供しており、米国の対中 AI チップ制裁による制約に対応している。
Baichuan-7B は、Baichuan Intelligent Technology の先見性のあるチームによって注意深く設計された、オープンソースの大規模事前学習言語モデルである。Transformer モデルアーキテクチャに基づき、このモデルは 70 億のパラメータを持ち、かつ 1.2 兆という驚異的な数のトークンで訓練されている。その揺るぎない汎用性により、Baichuan-7B は中国語と英語を難なくサポートする。
あらゆる分野で高いパフォーマンススコア
同規模のモデルの中でのリーダーとして広く認識されており、Baichuan-7B は C-EVAL や MMLU などの最も評価の高い中国語および英語のベンチマークで勝利を収め、言語の卓越性の頂点にその名を刻んだ。
このモデルは同規模のパラメータを持つ他のモデルを常に凌駕し、中国語理解の分野で卓越したネイティブ事前学習モデルとして君臨している。AGIEval 評価では、Baichuan-7B は LLaMA-7B、Falcon-7B、Bloom-7B、ChatGLM-6B などの他のオープンソースの競合を驚くべき差で上回り、34.4 点という印象的なスコアを獲得した。
Baichuan-7B は C-EVAL 試験で 42.8 点という高得点を獲得し、ChatGLM-6B の 38.9 点を上回って圧倒している。高考（Gaokao）評価では、このモデルは 36.2 点という並外れたスコアで王者となり、同規模の事前学習モデルの中で確固たる優位性を確立した。
AGIEval は、Microsoft Research による著名なベンチマークイニシアチブであり、基盤モデルの認知能力と問題解決能力を評価するための広範な取り組みである。C-Eval は、上海交通大学、清華大学、エディンバラ大学の共同開発によるもので、中国語モデルの実力を評価する包括的な試験であり、多様な分野の 52 科目をカバーしている。
復旦大学の優れた研究チームによって開発された Gaokao ベンチマークは、中国の大学入試問題をデータセットとして使用し、大規模モデルの中国語理解力と論理的推論力を厳密にテストする。
Baichuan-7B の熟達度は英語分野にも容易に及んでいる。非常に評価の高い MMLU 評価では、Baichuan-7B が 42.5 点という驚異的なスコアを叩き出し、英語のオープンソース事前学習モデルである LLaMA-7B と中国のオープンソースモデル ChatGLM-6B を大差で軽々と上回った。
大規模モデルの訓練における重要な成功要因は、訓練コーパスそのものにある。Baichuan Intelligent Technology は、豊富な中国語学習データを活用し、高品質な英語データをシームレスに統合することで、高品質な事前学習コーパスを丹念に構築している。このデータの融合は、中国語と英語のインターネットデータ、中国語と英語のオープンソースデータ、そして注意深く整理された相当量の知識コーパスを含んでいる。