正在人工智能爬虫满天飞的时期，网站所有者正面临两难:既期视留存搜刮引擎带来的流量曝光，又忧虑毫无节制的锻炼爬虫窃取内容或干扰告白变现。7月1日，Cloudflare 给出了止业级的处理计划，正式推出了一套全新的 AI 流量办理工具，允许站长针对差异类型的 AI 爬虫截至精细化管控。
过去，很多网站为了防御歹意爬虫，常常只能选择“一刀切”式地屏障所有内部访谒，但那常常会误伤 SEO，招致网站正在搜刮引擎中的排名降落。此次更新的中心亮点，正在于将本来恍惚的“AI 流量”拆解为搜刮爬虫、智能体爬虫以及锻炼爬虫三年夜类。站长如今能够根据开业需求，对那些爬虫施止差异化的“放止”或“拦截”计谋。
那一功用的推出，关于高度依赖告白收入的站点尤为关键。正在新的流量办理框架下，网站所有者能够更有效地保护中心告白页面，防止 AI 爬虫经由过程高频抓取产生无效流量，进而损害告白投放的精准度取收益。经由过程那种格式，站长不但能继绝享用收流搜刮引擎带来的普通流量，还能将那些旨正在“窃取”内容截至模子锻炼的爬虫拒之门中。
业内人士阐发认为，此举标识表记标帜着 AI 取内容生态的博弈已从简单的屏障匹敌，转背更具计谋性的精细化治理阶段。正在算力取数据版权博弈日益狠恶的背景下，Cloudflare 的那一动做，无疑为宽广站长供给了一把保护数据资产取流量价值的“手术刀”，均衡了 AI 展开的手艺需求取内容创做者的亲身利益。
