一个读者对应5万次抓取，AI机器人抽干媒体内容

论点：“抓取量与访问量之比”已不再是交换，而是对内容经济的剥夺。缺乏授权，信息质量将成为无人愿担的成本。

2026年7月1日，Cloudflare发布《Attribution Business Insights》报告。机器人抓取次数与真实读者访问量的比值从118:1到接近50000:1。极端情况下，每有一个真实用户打开网页，自动化程序就抓取近5万次。Cloudflare将流量分为训练、搜索和智能体三类，只有搜索流量能为出版方带来收益。

市场开始反应，自愿时代已结束。Cloudflare针对同时承担多种功能的“混合型”机器人制定了规则：从9月15日起，这类机器人在带广告的页面上默认放行搜索流量，但阻止训练和智能体操作。这被称为免费搭车的终结。授权协议也在陆续签署。Netflix与Penske Media达成协议，后者是《Variety》和《Rolling Stone》的出版方。大型玩家宁愿为内容付费，也不愿等待监管。

用户端的期待很明确，ARD/ZDF Medienstudie 2026的调查给出了具体数字。14岁以上的德国人中，59%偶尔使用AI工具，37%每周使用，一年前这一比例为22%。14至29岁群体中，使用率达92%；70岁以上群体中为15%。54%的人对模型结果持怀疑态度，会检查错误；81%的人认为透明标注训练数据和来源很重要。受众不想要免费的魔法，他们想知道答案来自哪里。

这种组合中隐藏着严重的利益冲突。要求标注的用户，使用的正是未经授权、未付报酬就抓取内容的工具。原本靠广告资助新闻业的出版方正在失去收入，同时又在提供素材，让那些取代它们成为信息获取中介的模型得以建立。这里没有对称性：信息经纪人不承担生产信息的成本，却从中获利。

解决办法不是关闭访问，而是定价。三个要素必不可少：机器人及其功能的公开登记、面向小型出版方的标准化授权机制，以及在模型回答中透明标明来源。没有第一项，我们不知道是谁在抓取；没有第二项，只有最大的编辑部才能拿到协议；没有第三项，读者无法区分综合结论与事实。Cloudflare已经证明数据存在。现在需要把这些数据变成协议的基础，而不是抱怨的理由。