网络服务商Cloudflare本周推出一系列防AI 爬虫的工具，包括可查看 AI 爬虫具体活动的 AI Audit 和一键屏蔽所有 AI 爬虫的 Block AI Scrapers and Crawlers。站长们可以部署相关服务，从而防止自己网站的内容被用于训练AI的机器人爬虫扒取。

　　注：爬虫是一种自动化的程序，可以在互联网上和获取信息，目前许多厂商使用相关爬虫扒取各大网站信息用于训练AI模型，Cloudflare推出的相关工具主要利用签名比对、启发式算法、机器学习和行为分析技术来辨别爬虫，用户可以查看 AI 爬虫的各种行为，包括爬虫类型、访问频率和扫描内容，如果不确定如何处理这些 AI 爬虫，站长们也可以使用 Block AI Scrapers and Crawlers 功能，一键屏蔽所有 AI 爬虫。

　　互联网为许多大语言模型提供了大部分的训练数据，如今许多厂商为了刷自家AI模型分数，大肆通过网络爬虫“拿来式”地获取训练数据，从而让本应你情我愿的行为变得“污名化”，各大网络商直接推出此类禁用AI爬虫的服务也在意料之中。