O método Thermometer pode reduzir a sobreconfiança dos modelos de IA

A técnica Thermometer pode reduzir a sobreconfiança em modelos de IA é perfilada pela BTW Media porque evidências publicadas a vinculam a infraestrutura de internet, governança, dependências operacionais ou visibilidade de mercado.

• O método Thermometer visa calibrar grandes modelos de linguagem (LLMs) para garantir que eles não demonstrem excesso de confiança em suas previsões, especialmente quando estão incorretas.
• Um dos principais objetivos do Thermometer é fornecer aos usuários uma indicação clara se a resposta de um modelo é precisa ou não.

NOSSA OPINIÃO
A técnica Thermometer pode melhorar a precisão de grandes modelos de linguagem (LLMs) garantindo que suas previsões sejam bem calibradas e alinhadas com seus níveis de confiança. O Thermometer permite a calibração de LLMs para novas tarefas sem a necessidade de conjuntos de dados rotulados específicos para a tarefa.
-Lia XU, jornalista BTW

O que aconteceu

Pesquisadores do MIT e do MIT-IBM Watson AI Lab desenvolveram um método de calibração chamadoThermometerespecialmente para grandes modelos de linguagem (LLMs) para melhorar sua precisão e eficiência de calibração. Métodos tradicionais de calibração não eram adequados para grandes modelos de linguagem devido às suas diversas aplicações. É necessário usar uma abordagem especializada como o Thermometer.

“Com o Thermometer, queremos fornecer ao usuário um sinal claro para indicar se a resposta de um modelo é precisa ou imprecisa, de uma forma que reflita a incerteza do modelo, para que ele saiba se esse modelo é confiável”, explicaMaohao Shen, estudante de pós-graduação em engenharia elétrica e ciência da computação (EECS) e autor principal de um artigo sobre o Thermometer.

O Thermometer requer menos poder computacional, mantendo a precisão do modelo e melhorando a calibração para novas tarefas. É mais eficaz que outros métodos. Ele ajuda a evitar que grandes modelos de linguagem sejam muito confiantes em previsões incorretas ou tenham pouca confiança nas corretas, ajudando os usuários a identificar possíveis falhas do modelo.

Leia também:BNP Paribas faz parceria com Mistral AI para implementar LLMs

Leia também:Global Telco AI Alliance cria joint venture para LLM de telecomunicações multilíngue

Por que isso é importante

O Thermometer é crucial para garantir que os modelos de IA sejam bem calibrados e reduzir o risco de implantar modelos excessivamente confiantes que fazem previsões incorretas. Ele ajuda os usuários a identificar cenários onde a confiança de um modelo não corresponde à sua precisão, evitando possíveis falhas em aplicações reais de grandes modelos de linguagem.

Este método permite a calibração de LLMs para novas tarefas sem a necessidade de conjuntos de dados rotulados específicos da tarefa, tornando-o um método versátil capaz de lidar com diversas aplicações de forma eficaz. A melhoria na calibração de LLMs também garante que os modelos de IA estejam bem adaptados para implantação em cenários do mundo real, o que pode reduzir o risco de erros e melhorar o desempenho geral.

Os pesquisadores desejam aprimorar o Thermometer para geração de texto mais complexa com modelos maiores e entender como treiná-lo de forma eficaz com diversos conjuntos de dados. Isso ajudará o computador a criar textos melhores e mais variados no futuro.