- Anthropic 的 ClaudeBot 是一种网络爬虫，旨在从网页抓取数据以训练 AI 模型。在 24 小时内，它访问了 iFixit.com 大约一百万次。
- ClaudeBot 对 iFixit.com 的密集数据抓取事件凸显了平衡 AI 开发方法的必要性。
我们的观点
ClaudeBot 访问 iFixit.com 的频率前所未有，24 小时内记录了一百万次点击。该网站经历了流量增加，这可能对其服务器负载和数据使用产生影响。随着行业的发展，找到一种尊重内容提供商权利和资源的 AI 模型训练方法至关重要。
–Rebecca Xu，BTW 记者
事件经过
Anthropic的网络爬虫 ClaudeBot 用于 AI 模型训练，在本月的一天内访问了技术建议网站 iFixit.com 近一百万次。与此同时，Freelancer.com 指责 Claude 爬虫在相同时间内访问了其网站近四百万次。
以详细技术指南和维修建议闻名的 iFixit.com，因 ClaudeBot 的访问量在一天内激增至一百万次而受到关注。这一异常活动引起了网站管理员和整个技术社区的担忧。
iFixit的老板 Kyle Wiens 在社交媒体上抱怨这些不请自来的机器人访问：“你们不仅无偿使用我们的内容，还占用了我们的开发资源。这很不妥，并且不符合 iFixit 的服务条款。”
“我们对来自 ClaudeBot 的大量请求感到惊讶，”iFixit.com 的一位发言人表示。“虽然我们支持 AI 的进步，但我们也认为数据抓取应该负责任地进行，并考虑到所涉及的网站。”
另请阅读：菲律宾能源部称其网站遭黑客攻击
为什么重要
ClaudeBot 对 iFixit.com 的无休止抓取引起了技术社区和网站管理员对该机器人活动过度和破坏性性质的担忧。随着其大量抓取数据，ClaudeBot 因可能使网站过载并对其资源造成不必要的压力而受到批评。
尽管 ClaudeBot 旨在提取数据以增强 AI 模型，但其对 iFixit.com 的过度和重复访问已引发强烈反对，因为它违反了网站的服务条款，并且未能尊重负责任的网络爬虫实践。巨大的访问量被认为是侵入性和破坏性的，对 iFixit.com 的用户体验和功能产生了负面影响。
该事件引起了人们对网络抓取实践的伦理考量以及无节制爬取活动对目标网站的影响的关注。Anthropic 与 iFixit.com 之间缺乏沟通与合作加剧了争议，凸显了在数字领域中透明和负责任的数据提取实践的重要性。