• AI 内容收割器在互联网上爬取大量数据的问题受到关注，网站所有者必须通过更新 robots 文件来阻止这些收割器的访问。
  • 文章强调，随着 AI 技术的快速进步，网站所有者面临着不断更新网站规则以应对新兴爬虫的挑战。

我们的观点
本文聚焦于 AI 内容收割器在互联网上爬取大量数据的问题，以及网站所有者如何通过更新 robots.txt 文件来阻止这些收割器的访问。同时，文章强调随着 AI 技术的快速进步，网站所有者面临着不断更新网站规则以应对新兴爬虫的挑战。
-李睿, BTW 记者

事件背景

Anthropic 的ClaudeBot是一个用于训练 AI 模型的网页内容爬虫，最近在 24 小时内访问了科技建议网站 iFixit.com 约一百万次。iFixit的首席执行官凯尔·维恩斯 (Kyle Wiens) 在社交媒体上对这些未经邀请的爬虫访问表示不满，指出他们不仅免费使用了网站的内容，还占用了开发运维资源，并违反了 iFixit 的服务条款。维恩斯通过在网站的 robots.txt 文件中添加禁止指令来阻止部分流量，这是科技行业公认的阻止爬虫的机制。

随着 AI 技术的快速发展，越来越多的 AI 公司开始使用爬虫从网站收集数据，这使得网站所有者难以及时更新文件以应对新兴爬虫。例如，Anthropic 此前曾使用 Claude-Web 和 Anthropic-AI 收集训练数据，即使在网站禁止这些爬虫后，ClaudeBot 仍然出现。因此，像 Dark Visitors 这样的许多服务提供了一种自动更新 robots.txt 条目的程序化方法，帮助网站所有者应对不断变化的爬虫生态。

延伸阅读：中国投资者涌入沙特 ETF，两国关系日益密切

延伸阅读：亚马逊开发 AI 芯片，挑战英伟达的市场领导地位

为何重要

随着 AI 技术的快速发展，越来越多的公司和研究机构使用自动化工具收集网络数据，以训练和改进其 AI 模型。尽管这种行为在技术开发与研究中很常见，但也引发了关于数据隐私、版权和网站资源滥用的讨论。

AI 内容收割器的大量访问可能会干扰网站的正常运行，消耗服务器资源，并影响用户体验。网站所有者需要不断更新 robots.txt 文件以阻止爬虫访问，这需要一定的技术知识和资源，对小型网站来说可能是一种挑战。随着 AI 技术的不断进步，需要新的策略和工具来保护网站免受不当数据采集行为的影响，同时确保健康的在线环境。这不仅符合网站所有者的利益，也关系到整个互联网生态系统的平衡与可持续发展。