AI Crisis caused by Data Exhaustion: How to Save an Impending Model Collapse

La tecnología ChatGPT de OpenAI se ha vuelto viral en menos de un año y ya está impactando los patrones de trabajo y el futuro de la industria. Ver también: Ziggo Group nombra a sus líderes antes de su salida a bolsa en Ámsterdam en 2027.

La tecnología ChatGPT de OpenAI se ha vuelto viral en menos de un año y ya está impactando los patrones de trabajo y el futuro de la industria. Dentro de algunas de las empresas líderes del mundo, hasta la mitad de los empleados ya utilizan este tipo de tecnología a diario. Innumerables empresas han invertido en el campo de la IA, compitiendo por lanzar nuevos productos, particularmente en Internet, educación, juegos y otras industrias en crecimiento. Ver también: Asociación ECHOES.

Es bien sabido que los datos utilizados para entrenar grandes modelos de lenguaje (LLMs) y otros modelos de transformación que sustentan productos como ChatGPT, Stable Diffusion y Midjourney provienen originalmente de fuentes humanas. Estas fuentes incluyen libros, artículos, fotografías y otros trabajos que son completamente originales humanos. Ver también: IT Department - Athlok.

Los tamaños de los parámetros de los modelos a gran escala continúan creciendo, desde miles de millones y decenas de miles de millones hasta cientos de miles de millones. A esta explosión se suma la cantidad de datos necesarios para entrenar IA que crece exponencialmente. Tomando como ejemplo el GPT de OpenAI, desde GPT-1 hasta GPT-3, el tamaño del conjunto de datos de entrenamiento creció drásticamente de 4,5 GB a 570 GB. Ver también: Alejandro Estua.

No hace mucho, en la conferencia Data+AI celebrada por Databricks, Marc Andreessen, fundador de a16z, creía que los datos masivos acumulados por Internet en las últimas dos décadas son una razón importante para el surgimiento de una nueva ola de IA. Él ve los datos como excelentes fuentes de materiales de aprendizaje para el entrenamiento de IA. Ver también: Alejandro Manzo.

Sin embargo, a pesar de la enorme cantidad de datos útiles e inútiles dejados por los internautas en la web, estos datos podrían estar a punto de agotarse para el entrenamiento de IA. Ver también: Alejandro Hernandez.

Un artículo publicado por Epoch, una organización de investigación y predicción de inteligencia artificial, predice que los datos textuales de alta calidad se agotarán entre 2023 y 2027. Ver también: Alejandro Garza.

Si bien el equipo de investigación reconoce que los métodos analíticos tienen serias limitaciones y que las imprecisiones del modelo son altas, es difícil negar que la IA está consumiendo conjuntos de datos a un ritmo alarmante. Ver también: Alejandro Guerrero.

Recientemente, investigadores de la Universidad de Cambridge, la Universidad de Oxford, la Universidad de Toronto y otras universidades publicaron un artículo señalando que el uso de contenido generado por IA para entrenar IA puede conducir al colapso de nuevos modelos.

Los investigadores concluyeron: “Aprender de datos generados por otros modelos conduce al colapso del modelo: un proceso de degradación en el que el modelo olvida la verdadera distribución de datos subyacente con el tiempo. Este proceso es inevitable, incluso en una situación de entrenamiento ideal durante mucho tiempo”.

¿Cuál es la razón por la que usar “datos generados” para entrenar IA causará el colapso del modelo? ¿Hay alguna forma de prevenirlo?

En esta etapa, la IA todavía está en la imitación primitiva del pensamiento humano y su núcleo sigue siendo un programa estadístico. Los investigadores creen que entrenar IA con contenido generado por IA producirá un “error de aproximación estadística”. Esto se debe a que en el proceso de estadística, el contenido con mayor probabilidad se refuerza aún más, y el contenido con menor probabilidad se ignora continuamente, lo cual es la causa principal del colapso del modelo.

Afecta el rendimiento, la fiabilidad y la seguridad del modelo. Los investigadores advierten que el colapso del modelo es un fenómeno grave que necesita la atención de los desarrolladores y usuarios de LLM. “Creemos que este problema se convertirá en uno de los principales desafíos para la comunidad de aprendizaje automático en los próximos años”, dijeron.

Pero no toda esperanza está perdida.

El primer enfoque es el aislamiento de datos. Para abordar el colapso del modelo, el equipo de investigación sugiere separar las fuentes de datos limpios generados artificialmente del contenido generado por IA para prevenir la contaminación de datos limpios por AIGC.

El segundo es el uso de datos sintéticos. De hecho, los datos generados específicamente para IA ya se utilizan ampliamente para el entrenamiento de IA. Para algunos profesionales, la preocupación actual sobre los datos generados por IA que conducen al colapso del modelo puede ser exagerada. Por lo tanto, la clave es establecer un sistema efectivo para confirmar la parte válida de los datos generados por IA y proporcionar retroalimentación basada en la efectividad del modelo entrenado. El uso de datos sintéticos por parte de OpenAI para el entrenamiento de modelos se ha convertido en un consenso dentro de la industria de la IA.

En conclusión, a pesar del problema del agotamiento de los datos humanos, el entrenamiento de IA no está exento de soluciones. Mediante el aislamiento de datos y el uso de datos sintéticos, el problema del colapso del modelo puede superarse eficazmente y se puede garantizar el desarrollo continuo de la IA.