Baichuan Intelligence (China) lança modelo de linguagem open source para concorrer com a OpenAI

Baichuan Intelligence (China) lança modelo de linguagem open source para concorrer com a OpenAI é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

A Baichuan Intelligence, uma startup fundada por Wang Xiaochuan, o fundador da Sogou, apresentou seu modelo de linguagem de grande escala de nova geração, o Baichuan-13B. Wang, um prodígio da computação da Universidade de Tsinghua, visa criar a versão chinesa da OpenAI. A Baichuan é considerada uma das desenvolvedoras mais promissoras da China no campo dos grandes modelos de linguagem (LLMs). O modelo, baseado na arquitetura Transformer como o GPT da OpenAI, possui 13 bilhões de parâmetros e é treinado em dados em chinês e inglês. O Baichuan-13B é open source e otimizado para aplicações comerciais.
Dados de treinamento comparáveis ao GPT-3.5
O Baichuan-13B é treinado em 1,4 trilhão de tokens, superando o modelo LLaMA da Meta, que usa 1 trilhão de tokens para seu modelo de 13 bilhões de parâmetros. Wang expressou sua intenção de lançar um modelo de grande escala comparável ao GPT-3.5 da OpenAI até o final do ano. Em pouco tempo, a Baichuan fez progressos significativos, expandindo sua equipe para 50 pessoas no final de abril e lançando seu primeiro LLM, o Baichuan-7B, em junho.
O Baichuan-13B agora está disponível gratuitamente para acadêmicos e desenvolvedores aprovados que desejam usá-lo para fins comerciais. O modelo oferece variantes que podem funcionar em hardware de consumo, atendendo às restrições impostas pelas sanções dos EUA a chips de IA contra a China.
O Baichuan-7B é um modelo de linguagem de pré-treinamento de grande escala, open source, cuidadosamente projetado pelas mentes visionárias da Baichuan Intelligent Technology. Baseado na arquitetura do modelo Transformer, este modelo aproveita o impressionante poder de 7 bilhões de parâmetros e foi alimentado com a exposição a impressionantes 1,2 trilhão de tokens. Graças à sua versatilidade inabalável, o Baichuan-7B suporta com facilidade o chinês e o inglês.
Altas pontuações de desempenho em todas as áreas
Amplamente reconhecido como um líder entre modelos de tamanho semelhante, o Baichuan-7B triunfou nos benchmarks chineses e ingleses mais conceituados, incluindo as avaliações C-EVAL e MMLU, gravando seu nome no topo da excelência linguística.
Este modelo supera consistentemente seus pares de tamanho de parâmetro semelhante, reinando supremo como o modelo pré-treinado nativo proeminente no campo da compreensão da língua chinesa. Na avaliação AGIEval, o Baichuan-7B supera outros concorrentes open source, incluindo LLaMA-7B, Falcon-7B, Bloom-7B e ChatGLM-6B, com uma margem impressionante, obtendo uma pontuação impressionante de 34,4 pontos.
O Baichuan-7B domina o exame C-EVAL com uma pontuação imponente de 42,8 pontos, superando os 38,9 pontos do ChatGLM-6B. Na avaliação Gaokao, o modelo reina supremo com uma excepcional pontuação de 36,2 pontos, estabelecendo firmemente seu domínio entre os modelos pré-treinados de tamanho de parâmetro comparável.
AGIEval, uma renomada iniciativa de benchmark do Microsoft Research Institute, representa um esforço abrangente para avaliar as capacidades cognitivas e de resolução de problemas de modelos fundamentais. O C-Eval, uma criação colaborativa da Universidade Jiao Tong de Xangai, da Universidade de Tsinghua e da Universidade de Edimburgo, constitui um exame completo que avalia as proezas dos modelos de língua chinesa, abrangendo 52 tópicos diversos em vários setores.
O benchmark Gaokao, elaborado pela estimada equipe de pesquisa da Universidade de Fudan, utiliza as questões do exame de admissão à universidade chinesa como conjunto de dados, oferecendo um exame rigoroso da aptidão dos grandes modelos em compreensão da língua chinesa e raciocínio lógico.
O domínio do Baichuan-7B se estende sem esforço ao campo do inglês. Na altamente respeitada avaliação MMLU, o Baichuan-7B impressiona com uma pontuação extraordinária de 42,5 pontos, superando sem esforço o modelo pré-treinado open source inglês LLaMA-7B e o modelo open source chinês ChatGLM-6B, com margens significativas.
Um fator chave de sucesso no treinamento de modelos de grande escala reside no próprio corpus de treinamento. A Baichuan Intelligent Technology constrói diligentemente um corpus de pré-treinamento de alta qualidade, aproveitando ricos dados de aprendizado em chinês e integrando perfeitamente dados de alta qualidade em inglês. Essa amalgamação de dados abrange uma vasta gama de dados da Internet em chinês e inglês, dados open source em chinês e inglês, bem como um corpus substancial de conhecimento meticulosamente selecionado.