DeepMind do Google revela verificador de fatos de IA ‘super-humano’, ‘SAFE’

O 'Google’s DeepMind unveils ‘superhuman‘ AI fact-checker, ‘SAFE’' é perfilado pela BTW Media porque evidências publicadas o vinculam à infraestrutura da internet, governança, dependências operacionais ou visibilidade de mercado.

• O Search-Augmented Factuality Evaluator (SAFE) é um método que usa um modelo de linguagem grande (LLM) para decompor texto gerado em fatos individuais.
• Este sistema de IA “super-humano” pode melhorar a verificação de fatos, a eficiência de custos e a precisão.
• Gary Marcus, um proeminente pesquisador de IA, sugeriu que “super-humano” poderia simplesmente significar melhor do que um trabalhador de multidão mal pago, em vez de um verdadeiro verificador de fatos especialista.

O Google DeepMind revelou um sistema de IA “super-humano” que pode superar verificadores de fatos humanos na avaliação da precisão das informações geradas por grandes modelos de linguagem.

Search-Augmented Factuality Evaluator (SAFE)

Este estudo, intitulado “Long-form factuality in large language models”, apresenta o SAFE como um método para decompor texto gerado em fatos individuais usando grandes modelos de linguagem. Ele então usa os resultados do Google Search para determinar a precisão de cada afirmação.

Os pesquisadores compararam o SAFE com anotadores humanos em um conjunto de dados contendo cerca de 16.000 fatos e descobriram que as avaliações do SAFE corresponderam às avaliações humanas em 72% das vezes. Ainda mais impressionante, quando houve divergências entre o SAFE e os avaliadores humanos, o julgamento do SAFE foi correto em 76% dos casos.

Leia também:Microsoft contrata cofundador do DeepMind Mustafa Suleyman como CEO de nova unidade de IA

Desempenho ‘super-humano’ causou controvérsia

Embora os pesquisadores afirmem que agentes de grandes modelos de linguagem podem alcançar desempenho de classificação “super-humano”, alguns especialistas questionam o que “super-humano” realmente significa aqui.

O pesquisador de IA Gary Marcus sugere que “super-humano” pode simplesmente significar melhor do que um trabalhador de multidão mal pago, em vez de um verdadeiro verificador de fatos especialista.

Marcus argumenta que comparar o SAFE com verificadores de fatos humanos especialistas é crucial para demonstrar verdadeiramente seu desempenho super-humano.

Vantagens do SAFE

Uma clara vantagem do SAFE é o custo – os pesquisadores descobriram que usar o sistema de IA era cerca de 20 vezes mais barato do que usar verificadores de fatos humanos. À medida que a quantidade de informações continua a crescer, é cada vez mais importante adotar uma abordagem de baixo custo e alto retorno.

A equipe do DeepMind também usou o SAFE para avaliar a precisão factual de 4 famílias (Gemini, GPT, Claude e PaLM-2) de 13 modelos de linguagem de ponta. Eles descobriram que modelos maiores geralmente produzem menos erros factuais.

No entanto, mesmo os modelos de melhor desempenho ainda produziram um grande número de declarações falsas.

Isso destaca o risco de excesso de confiança em modelos de linguagem que podem expressar fluentemente informações imprecisas. Ferramentas automatizadas de verificação de fatos como o SAFE podem desempenhar um papel fundamental na mitigação desses riscos.