Os detectores de IA recentemente causaram surpresa ao afirmar que a Constituição dos Estados Unidos foi escrita por inteligência artificial em 1787.

Os detectores de IA recentemente causaram surpresa ao afirmar que a Constituição dos Estados Unidos foi
escrita por inteligência artificial em 1787. Embora esta afirmação seja claramente falsa, ela destaca
um problema preocupante: a confiabilidade dos detectores de IA para identificar
conteúdo gerado por IA deixa muito a desejar.

O cerne do problema está nos métodos empregados por esses detectores. Eles utilizam
grandes modelos de linguagem como o ChatGPT, treinados com enormes quantidades de texto escrito por humanos e gerado por IA,
para determinar a probabilidade de um texto ser de autoria humana ou de IA.
Duas métricas principais são usadas: a “perplexidade” e a “explosividade”.

Linguagem formal = conteúdo de IA?
A perplexidade mede o quanto um texto se alinha ao que o modelo de IA aprendeu durante
o treinamento. Ela pode identificar com precisão o conteúdo gerado por IA que se assemelha muito aos
dados de treinamento.

Embora isso pareça correto, é problemático quando se trata de linguagem formal,
como a da Constituição dos Estados Unidos.

A explosividade, por outro lado, avalia a variabilidade no comprimento e na estrutura das frases.
O conteúdo gerado por IA geralmente mostra mais uniformidade, o que difere da escrita humana,
que tende a variar em comprimento.

No entanto, essas métricas têm suas limitações. Escritores humanos experientes podem produzir
conteúdo com baixa perplexidade, imitando o estilo gerado por IA. Da mesma forma, os modelos de IA estão
se tornando mais humanos em sua escrita, o que torna a explosividade um discriminador pouco confiável.

Muitos falsos positivos
Estudos mostraram que os detectores de escrita de IA estão longe de ser infalíveis e funcionam apenas
um pouco melhor do que classificadores aleatórios. Frequentemente retornam falsos positivos, levando
a possíveis julgamentos errôneos e acusações injustas contra estudantes e escritores.
Além disso, esses detectores podem ser facilmente contornados por meio de ataques de paráfrase, o que compromete ainda mais
sua precisão.

Em meio a essas preocupações, alguns educadores estão adotando ferramentas de IA como o ChatGPT para apoiar
o aprendizado, reconhecendo que os detectores existentes não são adequados para detectar com precisão o
conteúdo gerado por IA.

Invertendo a detecção
Em resposta, um criador de detectores de IA planeja mudar seu foco da detecção de IA
para, em vez disso, destacar o toque humano na criação de conteúdo. Seu objetivo é ajudar
professores e alunos a navegar pelo cenário em mudança do papel da IA na educação.
O desafio da detecção de escrita de IA também é complicado por possíveis vieses contra
falantes não nativos de inglês, levando a taxas mais altas de falsos positivos em seus trabalhos.
À medida que a IA continua avançando, a necessidade de salvaguardas sólidas contra a desinformação e
o reconhecimento adequado da participação da IA na criação de conteúdo torna-se
cada vez mais evidente.
As deficiências dos detectores de IA atuais ressaltam a urgência de desenvolver sistemas de detecção mais
precisos e confiáveis. Até que tais sistemas estejam disponíveis, é crucial abordar a detecção de conteúdo gerado por IA com cautela, considerando o custo pessoal das acusações falsas.