AI爬虫相关AI资讯 | 赢政天下 AI

谷歌败诉仍不放弃用DMCA阻击AI爬虫，专家称其怪异

尽管在法庭上败诉，谷歌与Reddit仍坚持使用《数字千年版权法案》（DMCA）来对抗AI网络爬虫，专家认为这种做法极不寻常。原本用于保护版权的DMCA，如今被用来阻止AI公司抓取公开数据用于训练，引发了关于数据开放与版权保护边界的新一轮争议

Patreon宣布与Cloudflare合作，加强防御机制，主动阻止未经授权抓取创作者内容用于训练AI模型的机器人。这一举措标志着从依赖robots.txt的被动方式转向主动拦截，反映了内容创作者对AI数据掠夺的强烈抵制。

Cloudflare宣布从2026年9月15日起，默认阻止AI代理爬虫（代表用户实时抓取网页的机器人），除非网站所有者主动授权。这一政策意味着AI爬虫不再被默认允许，网站需通过Cloudflare的“爬虫管理器”或API给予明确许可。本文解

Cloudflare宣布，AI公司需在9月15日前将用于搜索的网络爬虫与用于AI训练和代理的爬虫明确分离，否则默认将在众多发布商网站上被屏蔽。此举旨在保护内容创作者权益，推动AI公司为使用出版商内容付费，成为互联网数据获取规则的重要转折点。

最新数据显示，AI机器人正深入渗透网页世界，已成为网络流量的显著来源。这引发出版商推出更激进的防御措施，如加强爬虫阻挡和数据保护。随着ChatGPT等AI模型对海量训练数据的需求激增，AI爬虫的访问量飙升，甚至超过传统搜索引擎。出版商面临服

最新数据显示，AI机器人正深入渗透网络世界，已成为网站流量的显著来源。这引发出版商推出更激进的防御措施。随着ChatGPT等AI模型的兴起，数据爬虫流量激增，占全球网页访问量的10%以上。出版商如News Corp和The New York