Baichuan Intelligence (China) stellt Open-Source-Sprachmodell vor, um mit OpenAI zu konkurrieren

China’s Baichuan Intelligence Unveils Open Source Language Model to Compete with OpenAI wird von BTW Media porträtiert, da veröffentlichte Belege es mit Internetinfrastruktur, Governance, betrieblichen Abhängigkeiten oder Marktsichtbarkeit verknüpfen.

Baichuan Intelligence, ein von Wang Xiaochuan, dem Gründer von Sogou, gegründetes Start-up, hat sein neues großes Sprachmodell Baichuan-13B vorgestellt. Baichuan Intelligence, ein von Wang Xiaochuan, dem Gründer von Sogou, gegründetes Start-up, hat sein neues großes Sprachmodell Baichuan-13B vorgestellt. Wang, ein Computerexperte der Tsinghua-Universität, will die chinesische Version von OpenAI schaffen. Baichuan gilt als einer der vielversprechendsten chinesischen Entwickler großer Sprachmodelle (Large Language Models, LLM). Das Modell basiert auf der Transformer-Architektur wie GPT von OpenAI, verfügt über 13 Milliarden Parameter und wurde mit chinesischen und englischen Daten trainiert. Baichuan-13B ist Open Source und für kommerzielle Anwendungen optimiert.
Trainingsdaten vergleichbar mit GPT-3.5
Baichuan-13B wurde mit 1,4 Billionen Tokens trainiert und übertrifft damit das LLaMa-Modell von Meta, das für sein 13-Milliarden-Parameter-Modell 1 Billion Tokens verwendet. Wang gab seine Absicht bekannt, bis Ende des Jahres ein großes Modell zu veröffentlichen, das mit GPT-3.5 von OpenAI vergleichbar ist. In kurzer Zeit hat Baichuan bedeutende Fortschritte erzielt, sein Team bis Ende April auf 50 Personen vergrößert und im Juni sein erstes LLM, Baichuan-7B, auf den Markt gebracht.
Baichuan-13B ist jetzt kostenlos für Wissenschaftler und genehmigte Entwickler erhältlich, die es zu kommerziellen Zwecken nutzen möchten. Das Modell bietet insbesondere Varianten, die auf handelsüblicher Hardware laufen können, und reagiert damit auf die Beschränkungen, die sich aus den US-Sanktionen gegen KI-Chips für China ergeben.
Baichuan-7B ist ein Open-Source-Vortrainingsmodell für große Sprachen, das von den visionären Köpfen der Baichuan Intelligent Technology sorgfältig entwickelt wurde. Basierend auf der Transformer-Modellarchitektur nutzt dieses Modell die beeindruckende Leistung von 7 Milliarden Parametern und wurde mit erstaunlichen 1,2 Billionen Tokens gefüttert. Dank seiner unerschütterlichen Vielseitigkeit unterstützt Baichuan-7B problemlos Chinesisch und Englisch.
Hohe Leistungswerte in allen Bereichen
Baichuan-7B wird weithin als führend unter Modellen ähnlicher Größe anerkannt und hat in den renommiertesten chinesischen und englischen Benchmarks, einschließlich der C-EVAL- und MMLU-Bewertungen, triumphiert und seinen Namen an die Spitze der sprachlichen Exzellenz gesetzt.
Dieses Modell übertrifft konsequent seine Pendants mit ähnlicher Parameterzahl und herrscht als herausragendes natives vortrainiertes Modell im Bereich des chinesischen Sprachverständnisses. Bei der AGIEval-Bewertung übertrifft Baichuan-7B andere Open-Source-Bewerber, darunter LLaMA-7B, Falcon-7B, Bloom-7B und ChatGLM-6B, mit einem erstaunlichen Vorsprung und erzielt beeindruckende 34,4 Punkte.
Baichuan-7B dominiert die C-EVAL-Prüfung mit imposanten 42,8 Punkten und übertrifft die 38,9 Punkte von ChatGLM-6B. Bei der Gaokao-Bewertung thront das Modell mit außergewöhnlichen 36,2 Punkten und etabliert damit seine Vorherrschaft unter den vortrainierten Modellen vergleichbarer Parametergröße.
AGIEval, eine renommierte Benchmark-Initiative des Microsoft Research Institute, stellt eine umfassende Anstrengung dar, die kognitiven und Problemlösungsfähigkeiten grundlegender Modelle zu bewerten. C-Eval, eine gemeinsame Kreation der Shanghai Jiao Tong Universität, der Tsinghua-Universität und der Universität Edinburgh, ist eine umfassende Prüfung, die die Leistungsfähigkeit chinesischer Sprachmodelle bewertet und 52 verschiedene Themen aus verschiedenen Bereichen abdeckt.
Der Gaokao-Benchmark, entwickelt vom geschätzten Forschungsteam der Fudan-Universität, verwendet die Fragen der chinesischen Hochschulaufnahmeprüfung als Datensatz und bietet eine strenge Prüfung der Fähigkeiten großer Modelle im chinesischen Sprachverständnis und logischen Denken.
Die Meisterschaft von Baichuan-7B erstreckt sich mühelos auf den englischen Bereich. Bei der hoch angesehenen MMLU-Bewertung beeindruckt Baichuan-7B mit außergewöhnlichen 42,5 Punkten und übertrifft mühelos das englische Open-Source-Vortrainingsmodell LLaMA-7B und das chinesische Open-Source-Modell ChatGLM-6B mit deutlichen Abständen.
Ein entscheidender Erfolgsfaktor beim Training großer Modelle liegt im Trainingskorpus selbst. Die Baichuan Intelligent Technology baut sorgfältig einen hochwertigen Vortrainingskorpus auf, der reichhaltige chinesische Lerndaten nutzt und nahtlos hochwertige englische Daten integriert. Diese Datenzusammenstellung umfasst eine breite Palette chinesischer und englischer Internetdaten, chinesische und englische Open-Source-Daten sowie einen umfangreichen Korpus sorgfältig kuratierten Wissens.