• Констатируется проблема ИИ-сборщиков контента, которые сканируют огромные объёмы данных в интернете, и владельцам сайтов необходимо блокировать доступ этих сборщиков, обновляя файлы robots.txt.
  • Это подчёркивает, что с быстрым развитием технологий ИИ владельцы сайтов сталкиваются с необходимостью постоянно обновлять свои правила, чтобы справляться с новыми краулерами.

НАШЕ МНЕНИЕ
Статья сосредоточена на проблеме ИИ-сборщиков контента, которые сканируют огромные объёмы данных в интернете, и на том, как владельцы сайтов могут блокировать доступ этих сборщиков, обновляя файлы robots.txt. В то же время в статье подчёркивается, что с быстрым развитием технологий ИИ владельцы сайтов сталкиваются с необходимостью постоянно обновлять свои правила, чтобы справляться с новыми краулерами.
— Rae Li, журналист BTW

Что произошло

ClaudeBotот Anthropic, веб-краулер, используемый для обучения моделей ИИ, недавно посетил сайт технических советов iFixit.com около миллиона раз за 24 часа. Генеральный директорIFixitKyle Wiens пожаловался в социальных сетях на нежелательные визиты робота, отметив, что они не только бесплатно используют контент сайта, но и задействуют ресурсы разработки и эксплуатации, а также нарушают условия использования iFixit. Wiens отвёл часть трафика, добавив в файл robots.txt сайта запрещающую директиву — признанный в технологической отрасли механизм блокировки краулеров.

С быстрым развитием технологий ИИ всё больше компаний, работающих в сфере ИИ, начали использовать краулеры для сбора данных с сайтов, из-за чего владельцам сайтов сложно вовремя обновлять свои файлы, чтобы справляться с новыми роботами. Например, Anthropic ранее использовала Claude-Web и Anthropic-AI для сбора обучающих данных, и ClaudeBot продолжал появляться даже после того, как сайт запретил этих роботов. Поэтому многие сервисы, такие как Dark Visitors, предлагают программный способ автоматического обновления записей robots.txt, чтобы помочь владельцам сайтов справляться с меняющейся экосистемой краулеров.

Читайте также:Китайские инвесторы скупают саудовские ETF по мере сближения двух стран

Читайте также:Amazon разрабатывает ИИ-чипы, чтобы бросить вызов лидерству Nvidia на рынке

Почему это важно

С быстрым развитием технологий ИИ всё больше компаний и исследовательских организаций используют автоматизированные инструменты для сбора веб-данных, чтобы обучать и совершенствовать свои модели ИИ. Хотя такое поведение является обычным для технологического развития и исследований, оно также вызвало дискуссии о конфиденциальности данных, авторских правах и злоупотреблении ресурсами веб-сайтов.

Массовый доступ ИИ-сборщиков контента может мешать нормальной работе сайтов, потреблять серверные ресурсы и ухудшать пользовательский опыт. Владельцам сайтов необходимо поддерживать файлы robots.txt в актуальном состоянии, чтобы блокировать доступ краулеров, что требует определённого уровня технических знаний и ресурсов; для небольших сайтов это может оказаться непросто. По мере развития технологий ИИ нужны новые стратегии и инструменты, чтобы защитить сайты от недопустимых методов сбора данных и одновременно обеспечить здоровую онлайн-среду.

Это в интересах не только владельцев сайтов, но и сбалансированности и устойчивости всей интернет-экосистемы.