1月13日,AI时代下互联网“隐性契约”正遭受挑战。随着AI机器人根据用户需求直接爬取网站数据,用户访问原始网站的意愿下降,同时网站遭受AI工具大量消耗流量。Cloudflare从2025年开始追踪这一不公平现象,通过统计大型科技公司爬虫抓取网站的请求次数和实际输送的访问量,计算出“抓取与回流比”。这一指标直观反映了平台从互联网“拿走”的价值和“还回”的价值。
在Cloudflare的统计中,Anthropic和OpenAI的“抓取与回流比”表现最差。这两家公司的爬虫抓取量远远高于为网站带来的访问量,意味着它们正从互联网获取越来越多的价值,却回馈得越来越少。这一趋势与BusinessInsider在2024年末的调查结果相印证。当时的报道指出,Anthropic和OpenAI的爬虫对部分网站的抓取频率“高到惊人”,导致网站的流量和云计算成本大幅上升。有开发者透露,其客户的云服务账单因AI爬虫暴增而翻了一倍。AI公司不仅从互联网获取内容、减少回流,还在无形中把更高的运营成本转嫁给了网站所有者。
