本文來(lái)自微信公眾號(hào)： 碳基智 ，作者：碳基智
兩年前我參加了機(jī)械工業(yè)出版社的年度作譯者大會(huì)，了解到了出版行業(yè)所面臨的挑戰(zhàn)與困境，總體上看，整個(gè)行業(yè)是很明顯走在下行路線(xiàn)上的。機(jī)工社是國(guó)內(nèi)在計(jì)算機(jī)科學(xué)等方面做得很突出的出版社，很多高校在使用的計(jì)算機(jī)教材也是機(jī)工社出的，但這樣的頭部出版社的日子都不好過(guò)。
我還有一個(gè)朋友，畢業(yè)以后就去了北京的某出版集團(tuán)，這兩年年終獎(jiǎng)也是從晚發(fā)到不發(fā)，集團(tuán)也開(kāi)始了改制，員工都要去二級(jí)單位下放掛職，美其名曰鍛煉，不愿意接受的，年紀(jì)大的可以提前退休，沒(méi)到年紀(jì)的可以協(xié)商離職拿大禮包。
出版行業(yè)的境遇已經(jīng)大不如前，AI時(shí)代下出一本書(shū)的周期尚且還要3個(gè)月左右的流程，而從openclaw剛開(kāi)始火到無(wú)人問(wèn)津的時(shí)間，滿(mǎn)打滿(mǎn)算都到不了3個(gè)月。人類(lèi)學(xué)習(xí)的主流方式，已經(jīng)從閱讀書(shū)籍轉(zhuǎn)向AI交互了。一句簡(jiǎn)單的“豆包豆包”，比買(mǎi)一本書(shū)，翻到具體的章節(jié)，再去自己思考咀嚼文字，沉淀為自己的知識(shí)，省心太多。
但最近，事情有了新的變化。
1
在生成式AI大行其道之前，互聯(lián)網(wǎng)上的信息爆炸已經(jīng)持續(xù)發(fā)生了很多年，人類(lèi)生產(chǎn)者各種各樣的文本數(shù)據(jù)，文章也好、商品說(shuō)明也好、論壇撕逼蓋樓也好、包括所謂的內(nèi)容農(nóng)場(chǎng)生成的各種垃圾信息，歸根結(jié)底的默認(rèn)前提還是——由人或團(tuán)隊(duì)組成。
但當(dāng)生成式AI開(kāi)始流行之后，這個(gè)前提失效了?；ヂ?lián)網(wǎng)史上積累的海量文本數(shù)據(jù)，迅速地被模型訓(xùn)練這個(gè)無(wú)底洞給吃空了，以至于現(xiàn)在甚至是AI生成語(yǔ)料數(shù)據(jù)以供AI訓(xùn)練，一整個(gè)左腳踩右腳，武當(dāng)梯云縱了。模型數(shù)據(jù)團(tuán)隊(duì)面對(duì)的問(wèn)題從“哪里還有更多文字”變成了，“這些字究竟從哪里來(lái)”。
這時(shí)，紙質(zhì)舊書(shū)說(shuō)，Now you see me。
2022年后，各大內(nèi)容平臺(tái)的AI過(guò)擬合現(xiàn)象已經(jīng)開(kāi)始達(dá)到令人發(fā)指的狀態(tài)：無(wú)論是各類(lèi)文章文案中的不是而是句式，還是各大短視頻平臺(tái)的AI短劇中，男男女女老老少少，同樣的皺眉瞪眼表情神態(tài)，都說(shuō)明了同樣的一個(gè)問(wèn)題，當(dāng)模型訓(xùn)練數(shù)據(jù)開(kāi)始趨同時(shí)，AI的外顯表現(xiàn)將會(huì)產(chǎn)生令人不適的特征，說(shuō)人話(huà)就是沒(méi)有活人感。
前一陣看到雨果獎(jiǎng)得主郝景芳說(shuō)自己最新小說(shuō)一半由AI完成，這令我非常反感。但凡你在寫(xiě)作方面深度使用過(guò)AI，你就能知道AI寫(xiě)不出一個(gè)稍微有點(diǎn)文字審美追求人所能接受的東西。
2022年前出版的舊書(shū)，不能保證內(nèi)容正確，也不能保證寫(xiě)得好，卻能在很大程度上排除現(xiàn)代生成式AI參與到正文生產(chǎn)流程。對(duì)訓(xùn)練團(tuán)隊(duì)來(lái)說(shuō)，這種排除能力就是確定性。
當(dāng)互聯(lián)網(wǎng)上的訓(xùn)練語(yǔ)料已經(jīng)被窮盡時(shí)，那些沒(méi)有被傳到網(wǎng)上的，冷門(mén)的、無(wú)人問(wèn)津的舊書(shū)，反而開(kāi)始值錢(qián)了。
2
舊書(shū)的優(yōu)勢(shì)常被縮成一句“沒(méi)有AI污染”，這只說(shuō)完了一半?；ヂ?lián)網(wǎng)上沒(méi)有被AI“改造”過(guò)的舊網(wǎng)頁(yè)也很多，其中照樣充滿(mǎn)轉(zhuǎn)載、營(yíng)銷(xiāo)軟文、斷章取義、標(biāo)題黨和沒(méi)人校對(duì)的廢話(huà)。
紙質(zhì)出版物真正有用的地方，在于它通常經(jīng)過(guò)一條專(zhuān)業(yè)的生產(chǎn)鏈的檢驗(yàn)：作者完成長(zhǎng)篇表達(dá)，編輯判斷是否值得出版，校對(duì)處理錯(cuò)誤，章節(jié)結(jié)構(gòu)維持上下文，出版社承擔(dān)品牌和法律責(zé)任。
從機(jī)器學(xué)習(xí)的視角看，這套流程很像人類(lèi)提前完成的篩選、標(biāo)注和格式化。一本三百頁(yè)的書(shū)圍繞同一主題展開(kāi)，術(shù)語(yǔ)和敘述口徑相對(duì)穩(wěn)定，論證能跨越數(shù)萬(wàn)字保持上下文。
普通網(wǎng)頁(yè)往往只有幾百字，鏈接失效、廣告插入、頁(yè)面模板和SEO內(nèi)容又制造大量噪音。書(shū)籍當(dāng)然并不天然正確，出版業(yè)也出過(guò)無(wú)數(shù)爛書(shū)，但從平均來(lái)看，它依然提供了比隨機(jī)網(wǎng)頁(yè)更密集、更連續(xù)的語(yǔ)言信號(hào)，而這，對(duì)大語(yǔ)言模型就是足夠珍貴的價(jià)值。
3
傳統(tǒng)舊書(shū)市場(chǎng)里，冷門(mén)通常意味著賣(mài)不動(dòng)，但模型訓(xùn)練改變了這個(gè)關(guān)系。
暢銷(xiāo)名著已經(jīng)被多次數(shù)字化、引用、節(jié)選和討論，它們很可能重復(fù)出現(xiàn)在公開(kāi)語(yǔ)料中；一本地方鐵路志、九十年代軟件手冊(cè)、少數(shù)語(yǔ)種植物圖譜或絕版行業(yè)年鑒，讀者很少，反而可能提供模型從未見(jiàn)過(guò)的術(shù)語(yǔ)、事實(shí)和表達(dá)。
Nature 2024年關(guān)于模型坍塌的研究解釋了這個(gè)現(xiàn)象。模型遞歸學(xué)習(xí)模型生成的數(shù)據(jù)時(shí)，最早丟失的是原始分布的尾部，也就是低概率事件和少見(jiàn)表達(dá)。高頻內(nèi)容會(huì)越來(lái)越高頻，冷門(mén)知識(shí)更容易被抹掉。研究還發(fā)現(xiàn)，保留一部分原始訓(xùn)練數(shù)據(jù)能明顯減輕退化。對(duì)下一代模型來(lái)說(shuō)，舊書(shū)的價(jià)值不只在干凈純粹，還在于保存那些統(tǒng)計(jì)意義上不常見(jiàn)的東西。
西班牙書(shū)商Mar?al Font發(fā)現(xiàn)，有買(mǎi)家愿意為四本長(zhǎng)期積壓的加泰羅尼亞語(yǔ)非虛構(gòu)支付35歐元書(shū)款和67歐元運(yùn)費(fèi)。荷蘭書(shū)商收到的清單包含指定語(yǔ)言和版本。相關(guān)買(mǎi)家的真實(shí)用途仍有爭(zhēng)議，Zoom Books也公開(kāi)否認(rèn)參與AI抓??；這些訂單至少說(shuō)明，過(guò)去由終端讀者決定的“有沒(méi)有用”，正在被另一套采購(gòu)標(biāo)準(zhǔn)改寫(xiě)。
冷門(mén)舊書(shū)沒(méi)有突然擁有更多讀者。它只是突然擁有了一個(gè)不閱讀、卻愿意為稀有信息付錢(qián)的新買(mǎi)家，并且這個(gè)買(mǎi)家又有錢(qián)，胃口還大得驚人。
A÷就曾花費(fèi)數(shù)百萬(wàn)美元購(gòu)買(mǎi)數(shù)百萬(wàn)本紙質(zhì)書(shū)，拆解掃描，每本生成帶有機(jī)器可讀文本的PDF，它還從盜版庫(kù)里取得大量電子書(shū)，用于模型訓(xùn)練。
而因?yàn)樗蛇^(guò)的這些事，讓它在和解時(shí)支付了超過(guò)15億美刀的費(fèi)用，但它老老實(shí)實(shí)掏錢(qián)買(mǎi)的作為訓(xùn)練用途的，則被法院認(rèn)定是可以支持的。
這還是挺有意思的，你覺(jué)得類(lèi)似這樣的現(xiàn)象還會(huì)發(fā)生在哪些領(lǐng)域？