暂无菜单项

出版商想拦AI爬虫却不敢拦Google:这场猫鼠游戏越来越难玩了

发布于
1

内容出版商和AI公司之间的张力,最近在法国戛纳的一个舞台上爆发了。People Inc.(前身Dotdash Meredith)的CEO Neil Vogel在Cannes Lions创意节上公开指责Google”滥用市场力量”——理由很简单,也很棘手:Google用同一个爬虫程序同时做搜索索引和AI训练数据采集,出版商根本没法单独屏蔽AI训练而不失去搜索流量。

这不是一个小问题。People Inc.是美国最大的出版商之一,旗下有《People》、《InStyle》等知名刊物。Vogel在Axios的访谈中说得很直白:”我们实际上没法屏蔽Google,因为Google用同一个爬虫做搜索和AI,这是对市场力量的极度滥用。”

“我们很想跟他们达成建设性的合作,但大概率会走向对抗,而不是合作。”—— Neil Vogel, People Inc. CEO

搜索流量 vs AI训练:出版商的两难

这件事的核心矛盾在于:搜索流量对出版商来说是流量变现的核心渠道,而AI训练需要抓取同样的内容。如果出版商想保护自己的内容不被用于AI训练,技术上可以屏蔽AI爬虫,但一旦屏蔽Google的爬虫,搜索排名就会受影响。

出版商与Google AI爬虫
内容出版商正在与Google就AI爬虫问题展开博弈

其他AI公司就没这个问题。Vogel透露,People Inc.已经跟Meta、OpenAI和微软签署了AI内容授权协议。这些公司的爬虫是可以单独屏蔽或授权的。但Google不行——它的爬虫是”一鱼两吃”。

Google的回应:你可以选择退出

Google对Vogel的指责给出了回应:出版商可以通过”Google-Extended”来控制自己的内容是否被用于训练Gemini模型,而这不会影响搜索索引。

但这个回应没解决根本问题。Vogel的抱怨是:出版商”不得不”让Google爬虫访问,因为搜索流量太重要了。

Cloudflare的”许可模式”

People Inc.是第一批加入Cloudflare”AI爬虫许可模式”的出版商之一。这个模式的思路是:默认屏蔽所有AI爬虫,只有付费授权的公司才能访问。Vogel说,这个模式上线后,”所有人立刻都急了”。

Vogel说:”AI需要三样东西:模型、算力、输入——而出版商掌握着输入。稀缺性是关键。”


📎 原文来源:The Verge | Axios
0 点赞
0 收藏
分享
0 讨论
反馈
0 讨论
热门最新
总结
暂无总结
0 / 600