Automação necessária para combater os coletores de conteúdo de IA online

A automação necessária para combater os coletores de conteúdo de IA online é perfilada pela BTW Media porque as evidências publicadas a vinculam a infraestrutura de internet, governança, dependências operacionais ou visibilidade de mercado.

• O problema dos coletores de conteúdo de IA que exploram grandes quantidades de dados na internet é evidente, e os proprietários de sites devem bloquear o acesso a esses coletores atualizando seus arquivos robots.
• Isso destaca que, com o rápido avanço da tecnologia de IA, os proprietários de sites enfrentam o desafio de atualizar constantemente suas regras para lidar com os robôs de exploração emergentes.

NOSSO PARECER
O artigo se concentra no problema dos coletores de conteúdo de IA que exploram grandes quantidades de dados na internet e em como os proprietários de sites podem bloquear o acesso a esses coletores atualizando seus arquivos robots.txt. Ao mesmo tempo, o artigo destaca que, com o rápido avanço da tecnologia de IA, os proprietários de sites enfrentam o desafio de atualizar constantemente suas regras para lidar com os robôs de exploração emergentes.
-Rae Li, jornalista BTW

O que aconteceu

ClaudeBotda Anthropic, um robô de exploração de conteúdo web usado para treinar modelos de IA, visitou recentemente o site de dicas técnicas iFixit.com cerca de um milhão de vezes em 24 horas. O CEO daiFixit, Kyle Wiens, reclamou nas redes sociais sobre as visitas não solicitadas do robô, observando que eles não apenas usaram o conteúdo do site gratuitamente, mas também consomem recursos de desenvolvimento e operação e violam os termos de uso da iFixit. Wiens desvia parte do tráfego adicionando uma diretiva de proibição ao arquivo robots.txt do site, um mecanismo reconhecido na indústria de tecnologia para bloquear robôs de exploração.

Com o rápido desenvolvimento da tecnologia de IA, cada vez mais empresas de IA começaram a usar robôs de exploração para coletar dados de sites, o que dificulta que os proprietários de sites atualizem seus arquivos a tempo de lidar com novos robôs. Por exemplo, a Anthropic usava anteriormente o Claude-Web e o Anthropic-AI para coletar dados de treinamento, e o ClaudeBot continuava aparecendo mesmo depois que o site proibiu esses robôs.

Assim, muitos serviços como o Dark Visitors fornecem um método programático para atualizar automaticamente as entradas robots.txt, ajudando os proprietários de sites a lidar com a ecologia em mudança dos robôs de exploração.

Leia também:Investidores chineses correm para ETFs sauditas à medida que as duas nações se aproximam

Leia também:Amazon desenvolve chips de IA para desafiar a liderança da Nvidia no mercado

Por que isso é importante

Com o rápido desenvolvimento da tecnologia de IA, cada vez mais empresas e organizações de pesquisa usam ferramentas automatizadas para coletar dados da web para treinar e melhorar seus modelos de IA. Embora esse comportamento seja comum no desenvolvimento tecnológico e na pesquisa, ele também gerou discussões sobre privacidade de dados, direitos autorais e uso indevido dos recursos dos sites.

O acesso massivo dos coletores de conteúdo de IA pode interferir no funcionamento normal dos sites, consumir recursos do servidor e afetar a experiência do usuário. Os proprietários de sites precisam manter seus arquivos robots.txt atualizados para impedir o acesso dos robôs de exploração, o que requer um certo nível de conhecimento técnico e recursos, podendo ser um desafio para sites pequenos. À medida que a tecnologia de IA avança, novas estratégias e ferramentas são necessárias para proteger os sites contra práticas inadequadas de coleta de dados, garantindo ao mesmo tempo um ambiente online saudável.

Isso não é apenas do interesse dos proprietários de sites, mas também para o equilíbrio e a sustentabilidade de todo o ecossistema da internet.