早在去年年初，马修·普林斯（Matthew Prince）就开始接到一些大型媒体公司首席执行官们忧心忡忡的电话。他们告诉普林斯先生——其公司Cloudflare为约五分之一的网站提供安全基础设施——他们的业务面临着一种严峻的新型网络威胁。“我说，‘怎么，是朝鲜人干的吗？’”普林斯回忆道，“他们说，‘不，是人工智能。’”
这些高管们那时已经发现了这一趋势的早期迹象，而这个趋势此后已变得愈发明显：人工智能正在改变人们浏览网络的方式。当用户向聊天机器人而非传统搜索引擎提出查询时，他们得到的是答案，而不是需要点击的链接。结果是，“内容”发布商——从新闻提供商、在线论坛到维基百科等参考网站——正目睹其网站流量出现惊人下降。
随着人工智能改变人们的浏览方式，它也在改变互联网核心的经济协议。长期以来，人类访问流量一直通过在线广告实现变现；如今这部分流量正在枯竭。内容生产商正急切地寻找新方法，以促使人工智能公司为他们提供的信息付费。如果他们做不到，开放的互联网可能会演变成一种截然不同的东西。
自2022年底ChatGPT发布以来，人们已经接受了一种在线寻求信息的新方式。ChatGPT的制造商OpenAI表示，大约有8亿人使用该聊天机器人。它是iPhone应用商店中下载量最高的应用。苹果公司表示，其Safari网络浏览器的传统搜索量在4月份首次出现下降，因为人们转而向人工智能提问。预计OpenAI很快也将推出自己的浏览器。它的崛起如此迅猛，以至于一部好莱坞改编作品已在筹备中。
在OpenAI和其他后起之秀高歌猛进的同时，在美国传统搜索市场占有约90%份额的谷歌，也在其搜索引擎中加入了人工智能功能以求跟上步伐。去年，它开始在一些搜索结果前加上人工智能生成的“概览”，此后这种做法变得无处不在。今年5月，它推出了“AI模式”，一个类似聊天机器人的搜索引擎版本。该公司承诺，有了人工智能，用户可以“让谷歌为你代劳搜索”（let Google do the Googling for you）。
然而，当谷歌代劳搜索时，人们就不再访问那些被搜集信息的网站了。测量超过1亿个网域流量的Similarweb公司估计，截至今年6月的一年里，全球（由人类贡献的）搜索流量下降了约15%。尽管某些类别（如业余爱好者的网站）表现尚可，但其他类别受到了沉重打击（见图表）。受影响最严重的许多网站，恰恰是那些通常能回答搜索查询的类型。科学和教育网站失去了10%的访问者。参考网站失去了15%。健康网站则失去了31%。
对于靠销售广告或订阅服务的公司来说，失去访问者就意味着失去收入。“我们与谷歌曾长期保持着非常积极的关系……他们撕毁了协议，”多德达什·梅雷迪思公司（Dotdash Meredith）的负责人尼尔·沃格尔（Neil Vogel）说，该公司旗下拥有《人物》和《美食与美酒》等刊物。三年前，其网站超过60%的流量来自谷歌。现在这个数字降到了35%左右。
“他们在窃取我们的内容来与我们竞争，”沃格尔先生说。谷歌坚称其对他人内容的使用是公平的。但Similarweb估计，自从谷歌推出其AI概览以来，导致无后续点击的新闻相关搜索的比例已从56%上升到69%。换句话说，十个用户中有七个在没有访问提供信息的页面的情况下就得到了答案。“互联网的性质已经完全改变了，”以程序员在线论坛而闻名的Stack Overflow的首席执行官普拉尚特·钱德拉塞卡（Prashanth Chandrasekar）说。
“人工智能基本上正在扼杀大多数内容网站的流量，”他说。随着访问者减少，Stack Overflow的留言板上发布的问题也越来越少。同样由爱好者驱动的维基百科警告说，不注明来源的人工智能生成摘要“阻碍了人们访问……和贡献于”该网站的途径。
为了维持流量和资金流入，许多大型内容生产商在法律威胁的支持下，与人工智能公司谈判达成了许可协议：新闻集团（News Corp）首席执行官罗伯特·汤姆森（Robert Thomson）称之为“又拉又告”（wooing and suing）的策略。他的公司旗下拥有《华尔街日报》和《纽约邮报》等刊物，已与OpenAI达成协议。其两家子公司正在起诉另一家人工智能应答引擎Perplexity。《纽约时报》与亚马逊达成了协议，同时又在起诉OpenAI。还有许多其他的交易和诉讼正在进行中。
然而，这种方法有其局限性。首先，到目前为止，法官们似乎倾向于站在人工智能公司一边：上个月，在加州的两起独立版权案件中，被告Meta和Anthropic均获胜，两家公司都辩称，用他人内容训练其模型属于“合理使用”。唐纳德·特朗普总统似乎接受了硅谷的论点，即必须允许其继续发展未来的技术。他已任命技术拥护者担任其人工智能顾问，并在美国版权局局长主张用受版权保护的材料训练人工智能并非总是合法后不久将其解雇。
相比训练数据，人工智能公司更愿意为持续获取信息而付费。但迄今达成的交易远非亮眼。据报道，在线论坛Reddit已将其用户生成内容授权给谷歌，年费为6000万美元。然而，在今年2月因搜索流量波动而报告用户增长低于预期后，其市值下跌过半——超过200亿美元。
然而，更大的问题是，互联网上数以亿计的域名中，大多数都太小，既无法拉拢也无法起诉科技巨头。他们的内容在整体上可能对人工智能公司至关重要，但每个网站单独来看又是可有可无的。即使他们能联合起来进行集体谈判，反垄断法也会禁止这样做。他们可以屏蔽人工智能的爬虫，一些网站也确实这么做了。但那意味着完全没有搜索可见度。
软件提供商或许能提供帮助。所有Cloudflare的新客户现在都将被询问是否允许人工智能公司的机器人抓取其网站，以及出于何种目的。Cloudflare的规模使其比大多数公司更有机会促成内容网站的某种集体回应，迫使人工智能公司掏钱。它正在测试一个“按爬取量付费”的系统，让网站可以向机器人收取入场费。“我们必须设定游戏规则，”普林斯先生说。他表示，他希望看到的结果是“一个人类免费获取内容，而机器人为此支付巨额费用的世界”。
另一种选机构Tollbit公司提供，该公司自称为“机器人的付费墙”。它允许内容网站向人工智能爬虫收取不同的费率：例如，一本杂志可以对新报道收取比旧报道更高的费用。今年第一季度，Tollbit为包括美联社和《新闻周刊》在内的2000家内容生产商处理了1500万笔此类微交易。其首席执行官托希特·帕尼格拉希（Toshit Panigrahi）指出，传统搜索引擎激励的是千篇一律的内容——例如“超级碗几点开始？”——而为访问收费则激励独特性。Tollbit收取的最高单次爬取费率之一来自一家地方报纸。
还有一种模式由ProRata提出，这是一家由比尔·格罗斯（Bill Gross）领导的初创公司。格罗斯是1990年代“按点击付费”在线广告的先驱，这种广告模式自此为大部分网络提供了动力。他提议，将放置在人工智能生成答案旁的广告收入，按照各网站内容对答案的贡献比例重新分配给这些网站。ProRata拥有自己的应答引擎Gist.ai，该引擎与其500多个合作伙伴（包括《金融时报》和《大西洋月刊》）分享广告收入。目前，它更多的是一个范例，而非对谷歌的严重威胁：格罗斯先生说，他的主要目标是“展示一个公平的商业模式，最终能被他人效仿”。
与此同时，内容生产商正在重新思考他们的商业模式。“互联网的未来并不全在于流量，”钱德拉塞卡先生说，他已经建立起Stack Overflow的私有、面向企业的订阅产品Stack Internal。新闻出版商正在为“零谷歌”（Google zero）时代做准备，通过新闻通讯和应用程序来触达那些不再通过搜索访问他们的客户，并将他们的内容移到付费墙后或转向线下活动。多德达什·梅雷迪思公司表示，尽管来自谷歌的引荐流量下降，但其整体流量仍在增长。事实也证明，对于人工智能引擎来说，在法律和技术上总结音频和视频比总结文本更困难。根据Similarweb的数据，目前应答引擎将搜索流量引向最多的网站，遥遥领先的是YouTube。
并非所有人都认为网络正在衰退——恰恰相反，谷歌的罗比·斯坦（Robby Stein）认为，它正处于“一个令人难以置信的扩张时刻”。随着人工智能让内容创作变得更容易，网站的数量正在增长：谷歌的机器人报告称，在过去两年里，网络规模扩大了45%。人工智能搜索让人们能以新的方式提问——例如，拍下自己的书架照片，询问下一本该读什么书的建议——这可能会增加流量。通过人工智能查询，比以往任何时候都多的网站正在被“阅读”，即使不是通过人眼。一个应答引擎可能会扫描数百个页面来提供一个答案，其引用的来源范围比人类读者更广泛。
至于谷歌分发的人类流量比以前少的说法，斯坦先生表示，公司并未注意到出站点击量有急剧下降，但它拒绝公开这一数据。除了人工智能，人们访问网站减少可能还有其他原因。也许他们在刷社交媒体，也许他们在听播客。
网络的消亡之前就曾被预言过——先是说它会亡于社交网络之手，后又说是亡于智能手机应用——但预言并未成真。但人工智能可能对其构成迄今为止最大的威胁。如果网络要以接近其目前的形式继续存在，网站将必须找到新的方式为其内容获得报酬。“毫无疑问，人们更喜欢人工智能搜索，”格罗斯先生说。“而要让互联网生存下去，要让民主生存下去，要让内容创作者生存下去，人工智能搜索就必须与创作者分享收入。”
原文链接：https://www.economist.com/business/2025/07/14/ai-is-killing-the-web-can-anything-save-it
【竞赛报名/项目咨询+微信：mollywei007】
