AI Crisis caused by Data Exhaustion: How to Save an Impending Model Collapse

La technologie ChatGPT d'OpenAI est devenue virale en moins d'un an et a déjà un impact sur les modèles de travail et l'avenir de l'industrie. Voir aussi: Ziggo Group nomme ses dirigeants avant l'introduction en Bourse à Amsterdam en 2027.

La technologie ChatGPT d'OpenAI est devenue virale en moins d'un an et a déjà un impact sur les modèles de travail et l'avenir de l'industrie. Dans certaines des plus grandes entreprises mondiales, près de la moitié des employés utilisent déjà ce type de technologie quotidiennement. D'innombrables entreprises ont investi dans le domaine de l'IA, se lançant dans une course pour lancer de nouveaux produits, notamment dans les secteurs de l'Internet, de l'éducation, des jeux et d'autres industries en croissance. Voir aussi: Association ECHOES.

Il est bien connu que les données utilisées pour entraîner les grands modèles de langage (LLM) et d'autres modèles de transformation qui soutiennent des produits comme ChatGPT, Stable Diffusion et Midjourney proviennent à l'origine de sources humaines. Ces sources comprennent des livres, des articles, des photographies et d'autres œuvres entièrement originales créées par l'homme. Voir aussi: Département IT - Athlok.

La taille des paramètres des modèles à grande échelle ne cesse de croître, passant de milliards et dizaines de milliards à des centaines de milliards. S'ajoute à cette explosion la quantité de données nécessaires pour entraîner l'IA, qui augmente de façon exponentielle. En prenant l'exemple de GPT d'OpenAI, de GPT-1 à GPT-3, la taille du jeu de données d'entraînement est passée de 4,5 Go à 570 Go. Voir aussi: Alejandro Estua.

Il y a peu, lors de la conférence Data+AI organisée par Databricks, Marc Andreessen, fondateur de a16z, a estimé que les données massives accumulées par Internet au cours des deux dernières décennies sont une raison importante de l'essor d'une nouvelle vague d'IA. Il considère les données comme d'excellentes sources de matériel d'apprentissage pour l'entraînement de l'IA. Voir aussi: Alejandro Manzo.

Cependant, malgré l'énorme quantité de données utiles et inutiles laissées par les internautes sur le web, ces données pourraient bientôt atteindre un point d'épuisement pour l'entraînement de l'IA. Voir aussi: Alejandro Hernandez.

Un article publié par Epoch, une organisation de recherche et de prédiction en intelligence artificielle, prédit que les données textuelles de haute qualité seront épuisées entre 2023 et 2027. Voir aussi: Alejandro Garza.

Bien que l'équipe de recherche reconnaisse que les méthodes analytiques présentent de sérieuses limites et que les inexactitudes du modèle sont élevées, il est difficile de nier que l'IA consomme des ensembles de données à un rythme alarmant. Voir aussi: Alejandro Guerrero.

Récemment, des chercheurs de l'Université de Cambridge, de l'Université d'Oxford, de l'Université de Toronto et d'autres universités ont publié un article soulignant que l'utilisation de contenu généré par l'IA pour entraîner l'IA peut conduire à l'effondrement des nouveaux modèles.

Les chercheurs ont conclu: « L'apprentissage à partir de données générées par d'autres modèles conduit à l'effondrement du modèle – un processus de dégradation dans lequel le modèle oublie la véritable distribution des données sous-jacente au fil du temps. Ce processus est inévitable, même dans une situation d'entraînement idéale pendant une longue période. »

Quelle est la raison pour laquelle l'utilisation de « données générées » pour entraîner l'IA provoque l'effondrement du modèle ? Existe-t-il un moyen de l'empêcher ?

À ce stade, l'IA en est encore à l'imitation primitive de la pensée humaine et son noyau reste un programme statistique. Les chercheurs pensent que l'entraînement de l'IA avec du contenu généré par l'IA produira une « erreur d'approximation statistique ». En effet, dans le processus statistique, le contenu ayant une probabilité plus élevée est davantage renforcé, et le contenu ayant une probabilité plus faible est continuellement ignoré, ce qui est la principale cause de l'effondrement du modèle.

Cela affecte les performances, la fiabilité et la sécurité du modèle. Les chercheurs avertissent que l'effondrement du modèle est un phénomène grave qui nécessite l'attention des développeurs et des utilisateurs de LLM. « Nous pensons que ce problème deviendra l'un des défis majeurs pour la communauté de l'apprentissage automatique dans les prochaines années », ont-ils déclaré.

Mais tout espoir n'est pas perdu.

La première approche est l'isolation des données. Pour faire face à l'effondrement du modèle, l'équipe de recherche suggère de séparer les sources de données propres générées artificiellement du contenu généré par l'IA afin d'éviter la contamination des données propres par l'AIGC.

La seconde est l'utilisation de données synthétiques. En fait, les données générées spécifiquement pour l'IA sont déjà largement utilisées pour l'entraînement de l'IA. Pour certains praticiens, la crainte actuelle que les données générées par l'IA conduisent à l'effondrement du modèle pourrait être exagérée. Par conséquent, la clé est d'établir un système efficace pour confirmer la partie valide des données générées par l'IA et fournir un retour d'information basé sur l'efficacité du modèle entraîné. L'utilisation de données synthétiques par OpenAI pour l'entraînement des modèles est devenue un consensus au sein de l'industrie de l'IA.

En conclusion, malgré le problème de l'épuisement des données humaines, l'entraînement de l'IA n'est pas sans solutions. Grâce à l'isolation des données et à l'utilisation de données synthétiques, le problème de l'effondrement du modèle peut être efficacement surmonté et le développement continu de l'IA peut être assuré.