Los detectores de IA han causado sorpresa recientemente al afirmar que la Constitución de Estados Unidos fue escrita por inteligencia artificial en 1787.
Los detectores de IA han causado sorpresa recientemente al afirmar que la Constitución de Estados Unidos fue
escrita por inteligencia artificial en 1787. Aunque esta afirmación es claramente falsa, pone de relieve
un problema preocupante: la fiabilidad de los detectores de IA para identificar
contenido generado por IA deja mucho que desear.
El núcleo del problema reside en los métodos empleados por estos detectores. Utilizan
grandes modelos de lenguaje como ChatGPT, entrenados con enormes cantidades de texto escrito por humanos y generado por IA,
para determinar la probabilidad de que un texto sea de autoría humana o de IA.
Se utilizan dos métricas clave: la “perplejidad” y la “explosividad”.
¿Lenguaje formal = contenido de IA?
La perplejidad mide en qué medida un texto se ajusta a lo que el modelo de IA ha aprendido durante
el entrenamiento. Puede identificar con precisión el contenido generado por IA que se asemeja estrechamente a los
datos de entrenamiento.
Aunque esto parece correcto, es problemático cuando se trata de lenguaje formal,
como el de la Constitución de Estados Unidos.
La explosividad, por otro lado, evalúa la variabilidad en la longitud y estructura de las oraciones.
El contenido generado por IA a menudo muestra más uniformidad, lo cual difiere de la escritura humana,
que tiende a variar en longitud.
Sin embargo, estas métricas tienen sus limitaciones. Los escritores humanos expertos pueden producir
contenido con baja perplejidad, imitando el estilo generado por IA. Del mismo modo, los modelos de IA se
están volviendo más humanos en su escritura, lo que convierte a la explosividad en un discriminador poco fiable.
Demasiados falsos positivos
Los estudios han demostrado que los detectores de escritura de IA distan mucho de ser infalibles y funcionan solo
ligeramente mejor que los clasificadores aleatorios. Con frecuencia devuelven falsos positivos, lo que lleva
a posibles juicios erróneos y acusaciones injustas contra estudiantes y escritores.
Además, estos detectores pueden eludirse fácilmente mediante ataques de parafraseo, lo que compromete aún más
su precisión.
En medio de estas preocupaciones, algunos educadores están adoptando herramientas de IA como ChatGPT para apoyar
el aprendizaje, reconociendo que los detectores existentes no son adecuados para detectar con precisión el
contenido generado por IA.
Darle la vuelta a la detección
En respuesta, un creador de detectores de IA planea cambiar su enfoque de la detección de IA
para, en su lugar, destacar el toque humano en la creación de contenidos. Su objetivo es ayudar
a profesores y estudiantes a navegar por el cambiante panorama del papel de la IA en la educación.
El desafío de la detección de escritura de IA también se complica por los posibles sesgos contra los
hablantes no nativos de inglés, lo que conduce a tasas más altas de falsos positivos en sus trabajos.
A medida que la IA sigue avanzando, la necesidad de salvaguardias sólidas contra la desinformación y
el reconocimiento apropiado de la participación de la IA en la creación de contenidos se vuelve
cada vez más evidente.
Las deficiencias de los detectores de IA actuales subrayan la urgencia de desarrollar sistemas de detección más
precisos y fiables. Hasta que dichos sistemas estén disponibles, es crucial abordar la detección de contenido generado por IA con precaución, considerando el coste personal de las acusaciones falsas.