本文來自：游云庭，題圖來自：AI生成
隨著人工智能產(chǎn)業(yè)的快速發(fā)展，其引發(fā)的矛盾也日益突出，AI在訓(xùn)練階段使用了互聯(lián)網(wǎng)上的海量版權(quán)材料，卻未向版權(quán)人付費(fèi)。最近全球頂尖的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施企業(yè)Cloudflare公司推出了一套新方案，希望幫助網(wǎng)站建立AI內(nèi)容授權(quán)與收費(fèi)機(jī)制。而他們最大的絆腳石，則是互聯(lián)網(wǎng)頭號(hào)搜索引擎和AI巨無霸谷歌，今天就和大家聊下這個(gè)事情。
一、Cloudflare如何幫網(wǎng)站向AI公司收費(fèi)？
先說下Cloudflare是干什么的？Cloudflare是互聯(lián)網(wǎng)流量的一層底層關(guān)卡，它有能力在內(nèi)容到達(dá)源服務(wù)器之前，就決定誰能進(jìn)、誰不能進(jìn)。很多朋友訪問海外網(wǎng)站時(shí)會(huì)遇到一個(gè)五秒等待頁面，那就是Cloudflare在替網(wǎng)站過濾網(wǎng)絡(luò)攻擊。Cloudflare以CDN（內(nèi)容分發(fā)網(wǎng)絡(luò)）和網(wǎng)絡(luò)安全服務(wù)起家。目前全球超過20%的網(wǎng)絡(luò)流量經(jīng)過Cloudflare的基礎(chǔ)設(shè)施處理，其中包括36%的全球最高訪問量網(wǎng)站。
Cloudflare推新政策時(shí)機(jī)很微妙，其公布的數(shù)據(jù)顯示，目前全球互聯(lián)網(wǎng)流量中，機(jī)器人流量已經(jīng)首次超過人工流量，其中AI機(jī)器人占比快速增長(zhǎng)。與此同時(shí)，OpenAI、Anthropic等公司商業(yè)模式逐漸成熟，外界普遍預(yù)期未來一兩年內(nèi)將進(jìn)入資本市場(chǎng)。
而隨著人工智能產(chǎn)業(yè)商業(yè)模式的確立，其和版權(quán)人的矛盾卻日益突出。主要矛盾在于，AI在訓(xùn)練階段使用了全球幾乎所有可獲取的版權(quán)材料，卻未向版權(quán)人付費(fèi)。此外，AI若想進(jìn)一步發(fā)展，需使用版權(quán)人創(chuàng)作的新內(nèi)容，如何為這部分新內(nèi)容付費(fèi)成為矛盾焦點(diǎn)。
7月1日，Cloudflare宣布將AI爬蟲正式分為三類：搜索類（Search）、訓(xùn)練類（Training）和智能體類（Agent，即代替用戶在線執(zhí)行任務(wù)的自動(dòng)化程序）。每一類爬蟲必須明確聲明身份，配合使用獨(dú)立的訪問令牌和可驗(yàn)證的IP段，讓網(wǎng)站主可以精細(xì)管理：哪類爬蟲能進(jìn)、哪類要付費(fèi)、哪類直接封殺。通過匿名方式或偽造身份爬取的服務(wù)商，將可能被Cloudflare在全網(wǎng)范圍內(nèi)攔截。該方案的核心在于，迫使AI產(chǎn)業(yè)心甘情愿或不得不付費(fèi)。
二、為什么谷歌被針對(duì)了？
但Cloudflare這套新政策要確立，首先得跨越一座叫谷歌的大山。
為什么是谷歌？因?yàn)镃loudflare方案的核心是把AI機(jī)器人的功能分拆成搜索、訓(xùn)練和代理三類，而谷歌則是混合用途機(jī)器人（Mixed-use Crawler）的代表，Google的AI機(jī)器人既承擔(dān)搜索，也承擔(dān)AI概覽（AI Overview）等AI搜索功能，因此網(wǎng)站難以只允許搜索、拒絕AI概覽。而對(duì)網(wǎng)站來說，要么接受谷歌的爬蟲，要么屏蔽，沒有第三種選擇，所以說，谷歌的這個(gè)混合用途機(jī)器人有點(diǎn)霸道。
但其實(shí)本來谷歌建立的搜索商業(yè)模式還算合理：谷歌作為搜索引擎給網(wǎng)站引流，網(wǎng)站獲得了流量，而谷歌則收到了廣告費(fèi)。但人工智能興起后，谷歌的搜索模式受到了OpenAI和Perplexity等人工智能公司的沖擊，尤其是搜索即時(shí)增強(qiáng)功能（RAG模式）的人工智能搜索，可以向用戶直接展現(xiàn)搜索答案，比傳統(tǒng)搜索功能更強(qiáng)大。
為保住市場(chǎng)留住用戶，谷歌也推出了自己的RAG模式，AI概覽功能，直接給用戶答案，不是引流。但AI概覽功能也導(dǎo)致用戶停留在谷歌，被谷歌索引或抓取信息網(wǎng)站的訪問率大減。而且為了強(qiáng)推AI概覽功能，谷歌規(guī)定，被其索引的網(wǎng)站要么接受谷歌的爬蟲，抓取的信息要么屏蔽，沒有第三種選擇。
網(wǎng)站所有人，也就是版權(quán)人對(duì)此很不滿意，還不得不從。因?yàn)槿绻唤邮芄雀璧恼?，屏蔽其爬蟲，搜索引擎帶來的流量也沒有了，但接受的話，谷歌的AI概覽功能對(duì)網(wǎng)站的替代性太強(qiáng)，多家媒體報(bào)告稱，AI概覽上線后點(diǎn)擊率和跳轉(zhuǎn)流量明顯下降。因此，有網(wǎng)站因此起訴谷歌壟斷，利用自身的市場(chǎng)支配地位逼迫網(wǎng)站二選一。
三、為什么兩家公司并非你死我活？
實(shí)際上這個(gè)事情根子上還是商業(yè)模式的問題，谷歌沒有找到一個(gè)公平的商業(yè)模式，使用網(wǎng)站內(nèi)容，但是要向網(wǎng)站返還商業(yè)上合理的利益，但這個(gè)不僅僅是谷歌的問題，而是整個(gè)人工智能產(chǎn)業(yè)的問題，所以現(xiàn)在Cloudflare，他作為全球20%流量的入口，推了這樣一個(gè)方案，要求人工智能就其使用網(wǎng)站的內(nèi)容進(jìn)行訓(xùn)練付費(fèi)。
當(dāng)然，Cloudflare和谷歌的這場(chǎng)博弈并不會(huì)一開始就演變成你死我活的斗爭(zhēng)。Cloudflare的新規(guī)則采取了非?？酥频耐七M(jìn)方式。按其計(jì)劃，2026年9月15日以后，新接入Cloudflare的網(wǎng)站默認(rèn)采用新的AI機(jī)器人分類策略，而此前已經(jīng)接入的網(wǎng)站并不會(huì)被強(qiáng)制修改配置，管理員仍然可以自行決定是否調(diào)整。這種漸進(jìn)推進(jìn)，一方面降低了對(duì)互聯(lián)網(wǎng)生態(tài)的沖擊，另一方面也給谷歌留下了緩沖和調(diào)整空間。
不過Cloudflare這次政策能否成功，并不完全取決于谷歌。真正擁有決定權(quán)的，其實(shí)是全球數(shù)以百萬計(jì)的網(wǎng)站背后的版權(quán)人。如果頭部出版商網(wǎng)站大規(guī)模跟進(jìn)，比如美聯(lián)社、時(shí)代周刊、大西洋月刊等大型媒體已經(jīng)明確支持Cloudflare的新規(guī)，如果這個(gè)形成潮流，AI公司將不得不正視這套框架，要么付費(fèi)、要么被屏蔽。
但谷歌也不是吃素的，他們雖然忌憚反壟斷法，不會(huì)硬頂，但也可以采取軟磨硬扛的策略：一方面通過摻沙子，丟石頭，挖墻腳，直接簽約頭部?jī)?nèi)容網(wǎng)站，分化對(duì)手，繞開Cloudflare的規(guī)則框架；另一方面利用搜索流量的不可替代性靜觀中小網(wǎng)站的反應(yīng)，想辦法繼續(xù)維持現(xiàn)有格局，如果中小網(wǎng)站不敢輕舉妄動(dòng)，這套規(guī)則的實(shí)際約束力就會(huì)大打折扣。
四、Cloudflare方案和著作權(quán)集體管理方案的區(qū)別在哪？
同樣為了解決AI訓(xùn)練素材的合規(guī)問題，此前我國著作權(quán)集體管理組織曾提出：以集體管理組織的名義，就人工智能訓(xùn)練向AI公司收取法定許可費(fèi)。即訓(xùn)練行為屬于法定許可范疇，AI服務(wù)商需向版權(quán)人付費(fèi)，由著作權(quán)集體管理組織作為版權(quán)人代表收取該費(fèi)用，并向版權(quán)人進(jìn)行分配。同時(shí)還配套以權(quán)利人的選擇退出機(jī)制和AI公司對(duì)訓(xùn)練內(nèi)容的強(qiáng)制披露制度。
但著作權(quán)集體管理的方案是法定許可，需要立法先行，而立法流程時(shí)間較長(zhǎng)，相比之下，Cloudflare的方案實(shí)際上更靈活，操作方便，把訓(xùn)練許可權(quán)完全交給了生產(chǎn)內(nèi)容的互聯(lián)網(wǎng)網(wǎng)站，站長(zhǎng)可以選擇允許或者不允許AI公司使用其內(nèi)容用于搜索或者訓(xùn)練，如果許可訓(xùn)練的，就可以從Cloudflare的授權(quán)機(jī)制里獲得相應(yīng)的許可費(fèi)。這也是筆者認(rèn)為Cloudflare方案值得關(guān)注的真正原因。
而Cloudflare的方案如果能走通，國內(nèi)CDN服務(wù)商如又拍云、七牛云等以內(nèi)容網(wǎng)站為主要服務(wù)對(duì)象的廠商也會(huì)跟進(jìn)，國內(nèi)的內(nèi)容網(wǎng)站作為版權(quán)人也可以通過此方案獲取授權(quán)收入。
最后，AI大模型依靠互聯(lián)網(wǎng)內(nèi)容快速成長(zhǎng)，但隨著替代效應(yīng)越來越明顯，版權(quán)訴訟越來越多，AI公司繼續(xù)免費(fèi)獲取高質(zhì)量?jī)?nèi)容的時(shí)代正在結(jié)束。雖然Cloudflare這次推出的新政策，最終未必能夠完全建立AI內(nèi)容收費(fèi)體系，但這個(gè)政策將對(duì)全球人工智能生態(tài)和內(nèi)容生態(tài)產(chǎn)生重大影響。AI公司為高質(zhì)量?jī)?nèi)容支付成本，很可能只是時(shí)間問題。關(guān)鍵在于是按自己的規(guī)則付費(fèi)，還是按Cloudflare或者著作權(quán)集體管理組織制定的規(guī)則付費(fèi)。
本文作者：游云庭，知識(shí)產(chǎn)權(quán)律師。Email: yytbest@gmail.com，本文僅代表作者觀點(diǎn)。