China’s Baichuan Intelligence Unveils Open Source Language Model to Compete with OpenAI

Baichuan Intelligence, une startup fondée par Wang Xiaochuan, le fondateur de Sogou, a
présenté son modèle de langage de nouvelle génération, Baichuan-13B.
Baichuan Intelligence, une startup fondée par Wang Xiaochuan, le fondateur de Sogou, a
présenté son modèle de langage de nouvelle génération, Baichuan-13B. Wang, un prodige de l'informatique de l'Université Tsinghua, vise à créer la version chinoise d'OpenAI. Baichuan est
considéré comme l'un des développeurs les plus prometteurs de Chine dans le domaine des grands modèles de langage
(LLM). Le modèle, basé sur l'architecture Transformer comme GPT d'OpenAI, dispose de 13 milliards
de paramètres et est entraîné sur des données en chinois et en anglais. Baichuan-13B est open source et
optimisé pour les applications commerciales.
Données d'entraînement comparables à GPT 3.5
Baichuan-13B est entraîné sur 1,4 billion de jetons, surpassant le modèle LLaMa de Meta, qui utilise 1 billion
de jetons dans son modèle de 13 milliards de paramètres. Wang a exprimé son intention de sortir un
modèle à grande échelle comparable à GPT-3.5 d'OpenAI d'ici la fin de l'année. En peu de temps,
Baichuan a fait des progrès significatifs, élargissant son équipe à 50 personnes d'ici fin avril
et lançant son premier LLM, Baichuan-7B, en juin.
Baichuan-13B est désormais disponible gratuitement pour les universitaires et développeurs approuvés qui souhaitent
l'utiliser à des fins commerciales. Le modèle propose notamment des variantes pouvant fonctionner sur du matériel grand public, répondant ainsi aux contraintes imposées par les sanctions américaines sur les puces d'IA en Chine.
Baichuan-7B est un modèle de langage de pré-entraînement à grande échelle open source, méticuleusement conçu par
les esprits visionnaires de Baichuan Intelligent Technology. Ancré dans l'architecture du
modèle Transformer, ce modèle exploite 7 milliards de paramètres et a été
nourri avec l'exposition à 1,2 billion de jetons. Grâce à sa polyvalence inébranlable,
Baichuan-7B prend en charge à la fois le chinois et l'anglais.
Des scores de performance élevés sur tous les fronts
Dûment célébré comme un chef de file parmi les modèles de taille similaire, Baichuan-7B est sorti
vainqueur des célèbres benchmarks en chinois et en anglais, y compris les évaluations réputées C-EVAL et
MMLU, inscrivant son nom au sommet de l'excellence linguistique.
Ce modèle surpasse constamment ses homologues de magnitude de paramètres comparable, régnant
en maître en tant que modèle pré-entraîné natif prééminent dans le domaine de la compréhension
du chinois. Dans l'évaluation AGIEval, Baichuan-7B surpasse les autres concurrents open source,
y compris LLaMA-7B, Falcon-7B, Bloom-7B et ChatGLM-6B, avec une marge étonnante,
obtenant un score impressionnant de 34,4 points.
Baichuan-7B conquiert l'examen C-EVAL avec un score dominant de 42,8 points,
surpassant les 38,9 points de ChatGLM-6B. Dans l'évaluation Gaokao, le modèle règne en maître avec
un score exceptionnel de 36,2 points, établissant fermement sa domination parmi les modèles pré-entraînés
de taille de paramètres comparable.
AGIEval, une initiative de benchmark célèbre de Microsoft Research Institute, représente
un effort exhaustif pour évaluer les capacités cognitives et de résolution de problèmes des modèles
fondamentaux. C-Eval, une création collaborative de l'Université Jiao Tong de Shanghai, de l'Université Tsinghua
et de l'Université d'Édimbourg, sert d'examen complet évaluant les prouesses
des modèles de langue chinoise, englobant 52 sujets divers dans diverses industries.
Le benchmark Gaokao, élaboré par l'équipe de recherche estimée de l'Université Fudan, exploite
les questions de l'examen d'entrée à l'université chinoise comme ensemble de données, offrant un examen rigoureux
de l'aptitude des grands modèles en compréhension du chinois et en raisonnement
logique.
La maîtrise de Baichuan-7B s'étend sans effort au domaine de l'anglais. Dans la célèbre évaluation MMLU,
Baichuan-7B stupéfie avec un score extraordinaire de 42,5 points, surpassant
largement le modèle pré-entraîné open source anglais LLaMA-7B et le modèle open source chinois
ChatGLM-6B.
Un facteur clé de succès dans l'entraînement de modèles à grande échelle réside dans le corpus d'entraînement
lui-même. Baichuan Intelligent Technology construit avec diligence un corpus de pré-entraînement de haute qualité,
en s'appuyant sur de riches données d'apprentissage en chinois et en intégrant de manière transparente des données en anglais de haute qualité.
Cette fusion de données englobe un vaste éventail de données Internet en chinois et en anglais, des données open source en chinois et en anglais,
ainsi qu'un corpus substantiel de connaissances méticuleusement organisées. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.