Baichuan Intelligence, стартап, основанный Wang Xiaochuan, создателем Sogou, представила свою языковую модель нового поколения Baichuan-13B.
Baichuan Intelligence, стартап, основанный Wang Xiaochuan, создателем Sogou, представила свою языковую модель нового поколения Baichuan-13B. Wang, компьютерный вундеркинд из Университета Tsinghua, стремится создать китайскую версию OpenAI. Baichuan считается одним из самых многообещающих китайских разработчиков больших языковых моделей (LLM). Модель, основанная на архитектуре Transformer, как и GPT от OpenAI, имеет 13 млрд параметров и обучается на данных на китайском и английском языках. Baichuan-13B имеет открытый исходный код и оптимизирована для коммерческого применения.
Данные обучения сопоставимы с GPT-3.5
Baichuan-13B обучается на 1,4 трлн токенов, превосходя модель LLaMa от Meta, которая использует 1 трлн токенов для своей модели на 13 млрд параметров. Wang выразил намерение выпустить до конца года крупномасштабную модель, сопоставимую с GPT-3.5 от OpenAI. За короткое время Baichuan добился значительных успехов: в конце апреля команда выросла до 50 человек, а в июне был запущен первый LLM, Baichuan-7B.
Baichuan-13B теперь бесплатно доступна одобренным учёным и разработчикам, желающим использовать её в коммерческих целях. Модель предлагает, в частности, варианты, работающие на потребительском оборудовании, что отвечает ограничениям, связанным с санкциями США на чипы для ИИ против Китая.
Baichuan-7B — это крупномасштабная открытая модель предварительного обучения, тщательно разработанная дальновидными специалистами Baichuan Intelligent Technology. Опираясь на архитектуру Transformer, модель использует впечатляющие 7 млрд параметров и была обучена на ошеломляющих 1,2 трлн токенов. Благодаря своей неизменной универсальности Baichuan-7B легко поддерживает китайский и английский языки.
Высокие результаты по всем направлениям
Широко признанная лидером среди моделей аналогичного размера, Baichuan-7B одержала победу в самых авторитетных китайских и английских бенчмарках, включая оценки C-EVAL и MMLU, вписав своё имя в вершину языкового мастерства.
Эта модель неизменно превосходит аналоги сопоставимого размера и является ведущей предобученной моделью в понимании китайского языка. В оценке AGIEval Baichuan-7B с огромным отрывом превосходит других открытых конкурентов, включая LLaMA-7B, Falcon-7B, Bloom-7B и ChatGLM-6B, набрав впечатляющие 34,4 балла.
Baichuan-7B доминирует в экзамене C-EVAL с солидными 42,8 балла, превосходя 38,9 балла ChatGLM-6B. В оценке Gaokao модель лидирует с исключительными 36,2 балла, прочно утверждая своё превосходство среди предобученных моделей сопоставимого размера.
AGIEval, известная бенчмарк-инициатива Microsoft Research Institute, представляет собой масштабную попытку оценить когнитивные способности и навыки решения задач базовых моделей. C-Eval, совместная разработка Шанхайского университета Jiao Tong, Университета Tsinghua и Эдинбургского университета, представляет собой комплексный экзамен, оценивающий возможности китайских языковых моделей и охватывающий 52 разнообразные предмета в различных секторах.
Бенчмарк Gaokao, разработанный уважаемой исследовательской группой Университета Fudan, использует вопросы китайского вступительного экзамена в вузы в качестве набора данных и предлагает строгую проверку способности больших моделей понимать китайский язык и логически рассуждать.
Мастерство Baichuan-7B легко распространяется и на английский. В широко уважаемой оценке MMLU Baichuan-7B впечатляет исключительными 42,5 балла, с большим отрывом превосходя английскую открытую предобученную модель LLaMA-7B и китайскую открытую модель ChatGLM-6B.
Ключевой фактор успеха при обучении больших моделей — сам обучающий корпус. Baichuan Intelligent Technology тщательно выстраивает высококачественный корпус предварительного обучения, опираясь на богатые обучающие данные на китайском языке и органично интегрируя высококачественные данные на английском. Этот объединённый массив данных включает широкий спектр интернет-данных на китайском и английском языках, открытые данные на китайском и английском, а также значительный корпус тщательно систематизированных знаний.