由搜狗创始人王小川创立的百川智能
推出了其下一代大语言模型 Baichuan-13B。
由搜狗创始人王小川创立的百川智能
推出了其下一代大语言模型 Baichuan-13B。王小川，一位清华大学计算机科学
天才，旨在打造中国版的 OpenAI。百川被认为是中国大型语言模型
（LLM）领域最有前途的开发者之一。该模型基于与 OpenAI 的 GPT 相同的 Transformer 架构，拥有 130 亿
个参数，并使用中文和英文数据进行训练。Baichuan-13B 是开源的，并
针对商业应用进行了优化。
训练数据媲美 GPT-3.5
Baichuan-13B 使用 1.4 万亿个 token 进行训练，超过了 Meta 的 LLaMa，后者在其 130 亿参数模型中使用了 1 万亿个 token。王小川表示，他打算在今年年底前发布一款可与 OpenAI 的 GPT-3.5 相媲美的大规模模型。在短时间内，百川取得了显著进展，到 4 月底团队已扩大至 50 人，并于 6 月推出了其第一个 LLM Baichuan-7B。​
Baichuan-13B 现已免费提供给希望将其用于商业目的的经批准的学术人员和开发人员。值得注意的是，该模型提供了可在消费级硬件上运行的变体，从而应对美国人工智能芯片制裁给中国带来的限制。
Baichuan-7B 是一个开源的大规模预训练语言模型，由百川智能科技的远见团队精心打造。该模型基于 Transformer 模型架构，拥有惊人的 70 亿个参数，并通过高达 1.2 万亿个 token 的训练数据滋养而成。凭借其出色的通用性，Baichuan-7B 优雅地支持中文和英文两种语言。
全面高分表现
Baichuan-7B 被公认为同类规模模型中的领跑者，在著名的中英文基准测试中脱颖而出，包括备受赞誉的 C-EVAL 和 MMLU 评估，将其名字铭刻在语言卓越的顶峰。
该模型持续超越同等参数规模的同类模型，在中文语言理解领域作为卓越的本土预训练模型独占鳌头。在 AGIEval 评估中，Baichuan-7B 以惊人的优势力压其他开源竞争者，包括 LLaMA-7B、Falcon-7B、Bloom-7B 和 ChatGLM-6B，取得了令人瞩目的 34.4 分。
Baichuan-7B 以 42.8 分的优异成绩征服了 C-EVAL 考试，超过了 ChatGLM-6B 的 38.9 分。在高考评估中，该模型以 36.2 分的非凡成绩独占鳌头，巩固了其在同等参数规模预训练模型中的主导地位。
AGIEval 是微软研究院发起的一项著名基准测试计划，旨在全面评估基础模型的认知和问题解决能力。C-Eval 由上海交通大学、清华大学和爱丁堡大学合作创建，是一项综合性考试，用于评估中文语言模型的能力，涵盖多个行业的 52 个不同学科。
高考基准测试由复旦大学受人尊敬的研究团队精心打造，以中国高考题目作为数据集，对大模型在中文语言理解和逻辑推理方面的能力进行严格考验。
Baichuan-7B 的精通扩展至英语领域轻松自如。在著名的 MMLU 评估中，Baichuan-7B 以 42.5 分的非凡成绩令人震惊，轻松超越了英语开源预训练模型 LLaMA-7B 和中文开源模型 ChatGLM-6B，优势明显。
大规模模型训练成功的关键因素在于训练语料库本身。百川智能科技精心构建高质量的预训练语料库，汲取丰富的中文学习数据，并无缝整合高质量的英文数据。这种数据融合涵盖了大量中英文互联网数据、开源中英文数据，以及经过精心整理的大量知识语料库。