Crise da IA causada pelo esgotamento de dados: Como salvar um colapso iminente do modelo

A 'AI Crisis caused by Data Exhaustion: How to Save an Impending Model Collapse' é perfilada pela BTW Media porque evidências publicadas a vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

A tecnologia ChatGPT da OpenAI se tornou viral em menos de um ano e já tem impacto nos modos de trabalho e no futuro da indústria. Em algumas das maiores empresas do mundo, quase metade dos funcionários já usam esse tipo de tecnologia no dia a dia. Inúmeras empresas investiram na área de IA, correndo para lançar novos produtos, especialmente na internet, educação, jogos e outros setores em crescimento.

É bem sabido que os dados usados para treinar grandes modelos de linguagem (LLMs) e outros modelos de transformação que suportam produtos como ChatGPT, Stable Diffusion e Midjourney originaram-se de fontes humanas. Essas fontes incluem livros, artigos, fotografias e outras obras inteiramente originais do ser humano.

O tamanho dos parâmetros dos modelos em grande escala não para de crescer, passando de bilhões para dezenas de bilhões, depois para centenas de bilhões. A essa explosão se soma a quantidade de dados necessários para treinar a IA, que aumenta exponencialmente. Tomemos o exemplo da GPT da OpenAI: da GPT-1 à GPT-3, o tamanho do conjunto de dados de treinamento passou de 4,5 GB para 570 GB.

Recentemente, na conferência Data+AI organizada pela Databricks, Marc Andreessen, fundador da a16z, estimou que os dados massivos acumulados pela internet nas últimas duas décadas são uma razão importante para o surgimento de uma nova onda de IA. Ele considera os dados como excelentes fontes de material de aprendizado para o treinamento de IA.

No entanto, apesar da enorme quantidade de dados úteis e inúteis deixados pelos internautas na web, esses dados podem logo se esgotar para o treinamento de IA.

Um artigo publicado pela Epoch, uma organização de pesquisa e previsão em inteligência artificial, prevê que os dados textuais de alta qualidade se esgotarão entre 2023 e 2027.

Embora a equipe de pesquisa reconheça que os métodos de análise apresentam sérias limitações e que as imprecisões do modelo são altas, é difícil negar que a IA consome conjuntos de dados a um ritmo alarmante.

Recentemente, pesquisadores da University of Cambridge, University of Oxford, University of Toronto e outras universidades publicaram um artigo destacando que o uso de conteúdo gerado por IA para treinar IA pode levar ao colapso dos novos modelos.

Os pesquisadores concluíram: “Aprender a partir de dados gerados por outros modelos leva ao colapso do modelo – um processo de degradação no qual o modelo esquece a verdadeira distribuição de dados subjacente ao longo do tempo. Esse processo é inevitável, mesmo em uma situação ideal de treinamento a longo prazo.”

Qual é a razão pela qual o uso de “dados gerados” para treinar IA causa o colapso do modelo? Existe uma maneira de evitar?

Neste estágio, a IA ainda está na imitação primitiva do pensamento humano e seu núcleo continua sendo um programa estatístico. Os pesquisadores acreditam que treinar IA com conteúdo gerado por IA produzirá um “erro de aproximação estatística”. De fato, durante o processo estatístico, o conteúdo com maior probabilidade é mais reforçado, e o conteúdo com menor probabilidade é continuamente ignorado, o que é a principal causa do colapso do modelo.

Isso afeta o desempenho, a confiabilidade e a segurança do modelo. Os pesquisadores alertam que o colapso do modelo é um fenômeno grave que requer atenção dos desenvolvedores de LLMs e dos usuários. “Acreditamos que este problema se tornará um dos principais desafios para a comunidade de aprendizado de máquina nos próximos anos”, disseram.

Mas nem toda esperança está perdida.

A primeira abordagem é o isolamento de dados. Para lidar com o colapso do modelo, a equipe de pesquisa sugere separar as fontes de dados gerados por humanos do conteúdo gerado por IA para evitar a contaminação dos dados limpos pela IA generativa (AIGC).

A segunda é o uso de dados sintéticos. Na verdade, dados gerados especificamente para IA já são amplamente usados para treinar IA. Para alguns profissionais, a preocupação atual de que dados gerados por IA levam ao colapso do modelo pode ser exagerada. Portanto, a chave é estabelecer um sistema eficaz para confirmar a parte válida dos dados gerados por IA e fornecer feedback com base na eficácia do modelo treinado. O uso da OpenAI de dados sintéticos para treinamento de modelos tornou-se um consenso na indústria de IA.

Em conclusão, apesar do problema do esgotamento de dados humanos, o treinamento de IA não está sem soluções. Através do isolamento de dados e do uso de dados sintéticos, o problema do colapso do modelo pode ser efetivamente superado e o desenvolvimento contínuo da IA pode ser assegurado.