Cloudflare公司刚刚给AI行业设定了一个新的最后期限，以将用于 “传统搜索目的” 的网络爬虫与用于AI智能体和训练的爬虫区分开来。Cloudflare于周三宣布，从2026年9月15日起，其默认设置将阻止 “混合用途”爬虫访问任何投放广告的页面。这意味着，融合了搜索、智能体使用和训练的爬虫将被默认阻止抓取这些网站，除非网站所有者另行调整设置。该公司表示，这些默认设置的变更将适用于新的Cloudflare客户、现有客户新建的网站以及所有现有免费客户。此举可能会影响AI模型提供商获取网络内容以用于训练目的并帮助支持其智能体服务的能力。

—— Techcrunch