AI巨头“吞噬”互联网:Anthropic抓取8800次仅回馈1次访问
创始人
2026-04-13 12:12:17
0次
今日,Cloudflare发布最新数据显示,AI公司在互联网上的“消耗”与回馈之间存在巨大差距。Cloudflare为全球约20%的互联网提供基础设施,监测AI爬虫抓取网页频率及引荐流量情况。数据显示,Anthropic的抓取与引荐比高达8800比1,即每8800次抓取才带来1次访问回流;OpenAI为993比1,差距同样明显。相比之下,微软、谷歌和DuckDuckGo的表现更接近传统互联网模式,引荐访问对应的抓取请求数量分别为30.4、5.6和1.5。
这一现象引发关注,尤其是以"更具伦理性"著称的AI公司Anthropic。传统互联网建立在网站允许搜索引擎免费抓取内容、换取访问流量的默认交换关系之上。然而,生成式AI正在打破这一机制,聊天机器人直接给出答案,用户无需点击原始网页,导致平台获取的价值远高于回馈。在部分情况下,高频爬虫行为还会增加网站运营成本。Anthropic曾质疑Cloudflare的统计方法,但整体趋势已十分明显。
相关内容