China’s Baichuan Intelligence Unveils Open Source Language Model to Compete with OpenAI

由搜狗创始人王小川创立的百川智能
推出了其下一代大语言模型Baichuan-13B。
由搜狗创始人王小川创立的百川智能
推出了其下一代大语言模型Baichuan-13B。王小川，一位清华大学计算机科学
天才，旨在打造中国版的OpenAI。百川被认为是中国大型语言模型
（LLM）领域最有前途的开发者之一。该模型基于与OpenAI的GPT相同的Transformer架构，拥有130亿
个参数，并使用中文和英文数据进行训练。Baichuan-13B是开源的，并
针对商业应用进行了优化。
训练数据媲美GPT-3.5
Baichuan-13B使用1.4万亿个token进行训练，超过了Meta的LLaMa，后者在其130亿参数模型中使用了1万亿个token。王小川表示，他打算在今年年底前发布一款可与OpenAI的GPT-3.5相媲美的大规模模型。在短时间内，百川取得了显著进展，到4月底团队已扩大至50人，并于6月推出了其第一个LLM Baichuan-7B。​
Baichuan-13B现已免费提供给希望将其用于商业目的的经批准的学术人员和开发人员。值得注意的是，该模型提供了可在消费级硬件上运行的变体，从而应对美国人工智能芯片制裁给中国带来的限制。
Baichuan-7B是一个开源的大规模预训练语言模型，由百川智能科技的远见团队精心打造。该模型基于Transformer模型架构，拥有惊人的70亿个参数，并通过高达1.2万亿个token的训练数据滋养而成。凭借其出色的通用性，Baichuan-7B优雅地支持中文和英文两种语言。
全面高分表现
Baichuan-7B被公认为同类规模模型中的领跑者，在著名的中英文基准测试中脱颖而出，包括备受赞誉的C-EVAL和MMLU评估，将其名字铭刻在语言卓越的顶峰。
该模型持续超越同等参数规模的同类模型，在中文语言理解领域作为卓越的本土预训练模型独占鳌头。在AGIEval评估中，Baichuan-7B以惊人的优势力压其他开源竞争者，包括LLaMA-7B、Falcon-7B、Bloom-7B和ChatGLM-6B，取得了令人瞩目的34.4分。
Baichuan-7B以42.8分的优异成绩征服了C-EVAL考试，超过了ChatGLM-6B的38.9分。在高考评估中，该模型以36.2分的非凡成绩独占鳌头，巩固了其在同等参数规模预训练模型中的主导地位。
AGIEval是微软研究院发起的一项著名基准测试计划，旨在全面评估基础模型的认知和问题解决能力。C-Eval由上海交通大学、清华大学和爱丁堡大学合作创建，是一项综合性考试，用于评估中文语言模型的能力，涵盖多个行业的52个不同学科。
高考基准测试由复旦大学受人尊敬的研究团队精心打造，以中国高考题目作为数据集，对大模型在中文语言理解和逻辑推理方面的能力进行严格考验。
Baichuan-7B的精通扩展至英语领域轻松自如。在著名的MMLU评估中，Baichuan-7B以42.5分的非凡成绩令人震惊，轻松超越了英语开源预训练模型LLaMA-7B和中文开源模型ChatGLM-6B，优势明显。
大规模模型训练成功的关键因素在于训练语料库本身。百川智能科技精心构建高质量的预训练语料库，汲取丰富的中文学习数据，并无缝整合高质量的英文数据。这种数据融合涵盖了大量中英文互联网数据、开源中英文数据，以及经过精心整理的大量知识语料库。 另见: Ziggo集团任命领导人，备战2027年阿姆斯特丹上市.