• Le problème des moissonneurs de contenu IA qui explorent de grandes quantités de données sur Internet est constaté, et les propriétaires de sites web doivent bloquer l'accès à ces moissonneurs en mettant à jour leurs robots.
  • Cela souligne qu'avec l'avancée rapide de la technologie IA, les propriétaires de sites sont confrontés au défi de mettre constamment à jour leurs règles pour faire face aux robots d'exploration émergents.

NOTRE AVIS
L'article se concentre sur le problème des moissonneurs de contenu IA qui explorent de grandes quantités de données sur Internet et sur la manière dont les propriétaires de sites web peuvent bloquer l'accès à ces moissonneurs en mettant à jour leurs fichiers robots.txt. En même temps, l'article souligne qu'avec l'avancée rapide de la technologie IA, les propriétaires de sites sont confrontés au défi de mettre constamment à jour leurs règles pour faire face aux robots d'exploration émergents.
-Rae Li, journaliste BTW

Ce qui s'est passé

ClaudeBotd'Anthropic, un robot d'exploration de contenu web utilisé pour entraîner des modèles d'IA, a récemment visité le site de conseils techniques iFixit.com environ un million de fois en 24 heures. Le PDG d'IFixit, Kyle Wiens, s'est plaint sur les réseaux sociaux des visites non sollicitées du robot, notant que non seulement ils ont utilisé le contenu du site gratuitement, mais qu'ils mobilisent également des ressources de développement et d'exploitation et violent les conditions d'utilisation d'iFixit. Wiens détourne une partie du trafic en ajoutant une directive d'interdiction au fichier robots.txt du site, un mécanisme reconnu dans l'industrie technologique pour bloquer les robots d'exploration.

Avec le développement rapide de la technologie IA, de plus en plus d'entreprises d'IA ont commencé à utiliser des robots d'exploration pour collecter des données sur leurs sites web, ce qui rend difficile pour les propriétaires de sites de mettre à jour leurs fichiers à temps pour faire face aux nouveaux robots. Par exemple, Anthropic utilisait auparavant Claude-Web et Anthropic-AI pour collecter des données d'entraînement, et ClaudeBot continuait d'apparaître même après que le site ait interdit ces robots.

Ainsi, de nombreux services tels que Dark Visitors fournissent une méthode programmatique pour mettre à jour automatiquement les entrées robots.txt afin d'aider les propriétaires de sites à faire face à l'écologie changeante des robots d'exploration.

À lire aussi:Les investisseurs chinois se ruent sur les ETF saoudiens alors que les deux nations se rapprochent

À lire aussi:Amazon développe des puces IA pour défier le leadership de Nvidia sur le marché

Pourquoi c'est important

Avec le développement rapide de la technologie IA, de plus en plus d'entreprises et d'organisations de recherche utilisent des outils automatisés pour collecter des données web afin d'entraîner et d'améliorer leurs modèles d'IA. Bien que ce comportement soit courant dans le développement technologique et la recherche, il a également suscité des discussions sur la confidentialité des données, les droits d'auteur et l'utilisation abusive des ressources des sites web.

Un accès massif des moissonneurs de contenu IA peut interférer avec le fonctionnement normal des sites web, consommer des ressources serveur et affecter l'expérience utilisateur. Les propriétaires de sites doivent maintenir leurs fichiers robots.txt à jour pour empêcher l'accès des robots d'exploration, ce qui nécessite un certain niveau de connaissances techniques et de ressources, ce qui peut être un défi pour les petits sites.

À mesure que la technologie IA progresse, de nouvelles stratégies et de nouveaux outils sont nécessaires pour protéger les sites contre les pratiques de collecte de données inappropriées tout en garantissant un environnement en ligne sain. Cela n'est pas seulement dans l'intérêt des propriétaires de sites, mais aussi pour l'équilibre et la durabilité de tout l'écosystème Internet.