2月14日,Cloudflare宣布推出MarkdownforAgents功能,旨在改善AI爬虫或智能体对网页内容的读取效率。该功能能够将HTML格式的网页内容自动转换为Markdown格式,从而提高内容对AI的易读性。Cloudflare指出,传统HTML网页内容的结构化程度较低,导致AI提取相同内容时需要的Token数量远多于Markdown文本。例如,一个博客的HTML版本需要16180个Token,而Markdown版本仅需3150个Token,节省了超过80%的用量。
Cloudflare的MarkdownforAgents功能通过自动将HTML网页转换为Markdown,减少了AI爬取时的重排工作量。这一改进有助于企业在当前全球经济一体化(GEO)的浪潮中获得竞争优势,因为AI爬虫能够更高效地处理和分析网页内容。该功能的应用,预计将对搜索引擎优化(SEO)和内容管理等领域产生积极影响。

