每經(jīng)記者 蔡鼎    每經(jīng)實習(xí)記者 岳楚鵬    每經(jīng)編輯 蘭素英    

人工智能（AI）的發(fā)展一直建立在這樣的信念之上：訓(xùn)練數(shù)據(jù)規(guī)模越大，模型就會越來越好。然而，業(yè)界近期曝出了大模型進(jìn)化遭遇“數(shù)據(jù)墻”的消息。

據(jù)外媒報道，OpenAI、谷歌和Anthropic在AI模型開發(fā)方面都陷入了瓶頸，他們發(fā)現(xiàn)，新模型無法像前面幾代產(chǎn)品那樣帶來巨大的飛躍。這在AI圈瞬時炸開了鍋。

圖靈獎得主楊立昆（Yann LeCun）和OpenAI前首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）等科技圈大佬不客氣地指出，大模型的規(guī)模法則（Scaling Law）已經(jīng)達(dá)到極限，必須轉(zhuǎn)變思維，改變訓(xùn)練模式了。

而OpenAI CEO阿爾特曼（Sam Altman）和Anthropic CEO達(dá)里奧·阿莫迪（Dario Amodei）都相繼對“瓶頸”說進(jìn)行反駁。盡管如此，OpenAI和谷歌都在積極轉(zhuǎn)變策略，研究如何解決訓(xùn)練數(shù)據(jù)匱乏的問題，以及如何調(diào)整規(guī)模法則的應(yīng)用，保持模型穩(wěn)步發(fā)展。

在百度CEO李彥宏看來，模型開發(fā)放緩也不見得是一件壞事。在最近的一次訪談中，他表示，基礎(chǔ)模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個生態(tài)其實是會比較亂。Meta CEO扎克伯格也表示，即使在現(xiàn)有技術(shù)的基礎(chǔ)上，應(yīng)用層面依然有很大的發(fā)展空間。

OpenAI、谷歌和Anthropic遭遇開發(fā)瓶頸

據(jù)外媒，OpenAI的下一代旗艦?zāi)Ｐ涂赡懿粫袂懊鎺状a(chǎn)品那樣帶來巨大的飛躍。

測試代號為Orion的新模型的員工發(fā)現(xiàn)，盡管新模型性能超過了OpenAI現(xiàn)有的模型，但進(jìn)步程度并不如從GPT-3到GPT-4的進(jìn)步那么大。換句話說，OpenAI改進(jìn)的速度似乎正在放緩。

OpenAI并不是唯一遭遇阻礙的公司，其競爭對手谷歌和Anthropic也傳出了先進(jìn)AI模型開發(fā)遇到瓶頸的消息。在以驚人的速度推出日益復(fù)雜的AI產(chǎn)品之后，這三家領(lǐng)先的AI公司現(xiàn)在意識到，他們在開發(fā)新模型上進(jìn)行的大量投入所帶來的回報正在逐漸減少。

據(jù)知情人士透露，谷歌即將推出的新版Gemini未達(dá)到內(nèi)部預(yù)期，Anthropic也推遲了Claude 3.5 Opus模型的計劃發(fā)布時間。

高質(zhì)量人造訓(xùn)練數(shù)據(jù)的缺乏是AI模型開發(fā)面臨挑戰(zhàn)的一大原因。外媒援引兩位知情人士稱，Orion在編程任務(wù)上的表現(xiàn)不盡如人意，部分原因是缺乏足夠的編程數(shù)據(jù)進(jìn)行訓(xùn)練。即使是有一些小幅的改進(jìn)，也難以證明新模型構(gòu)建和運營的高昂成本是合理的，這與市場對于重大升級的期待之間存在差距。

科技圈大佬激辯“數(shù)據(jù)墻”

AI模型開發(fā)遇阻的消息公開后，知名AI評論家加里·馬庫斯（Gary Marcus）甚至直接單方面宣布“勝利”：“游戲結(jié)束，我贏了！我早就說過，GPT正在陷入收益遞減階段。”一直以來，馬庫斯就預(yù)測，生成式AI的發(fā)展將進(jìn)入停滯階段。

圖片來源：X平臺

AI懷疑論者經(jīng)常警告，僅僅通過擴(kuò)大規(guī)模來提高大模型的方法是有限的。一年前，比爾·蓋茨就表示，有很多理由相信，當(dāng)前生成式人工智能（AGI）已經(jīng)達(dá)到極限。“GPT-5不會比GPT-4好多少。”

OpenAI前首席科學(xué)家、Safe Superintelligence聯(lián)合創(chuàng)始人蘇茨克維近日在接受外媒采訪時也表示，擴(kuò)大預(yù)訓(xùn)練的結(jié)果已經(jīng)達(dá)到了平臺期。所謂預(yù)訓(xùn)練，即使用大量未標(biāo)記數(shù)據(jù)來訓(xùn)練AI模型以理解語言模式和結(jié)構(gòu)的階段。

Meta首席科學(xué)家、圖靈獎得主楊立昆還轉(zhuǎn)發(fā)了蘇茨克維這條新聞，并評論，“我早就告訴過你們了，Meta早就開始轉(zhuǎn)型了。”

圖片來源：Thread

不過，OpenAI CEO阿爾特曼周四在X上發(fā)帖稱，“沒有墻（there is no wall）”，暗示AI發(fā)展沒有遇到瓶頸。

圖片來源：X

Anthropic創(chuàng)始人、規(guī)模法則論文的共同作者達(dá)里奧·阿莫迪也在近日的播客中表示，規(guī)模法則來自經(jīng)驗而非客觀規(guī)律，他認(rèn)為這一法則仍然會繼續(xù)存在。

科技公司轉(zhuǎn)變策略

盡管阿爾特曼駁斥了“瓶頸”一說，但OpenAI也一直在進(jìn)行第二手準(zhǔn)備。

OpenAI成立了一個基礎(chǔ)團(tuán)隊，由之前負(fù)責(zé)預(yù)訓(xùn)練的Nick Ryder領(lǐng)導(dǎo)。該團(tuán)隊主要探索如何應(yīng)對訓(xùn)練數(shù)據(jù)的匱乏，調(diào)整規(guī)模法則的應(yīng)用，保持模型改進(jìn)的穩(wěn)定性。

例如，OpenAI的研究人員開始采用AI生成的合成數(shù)據(jù)來訓(xùn)練模型。他們還采用了強化學(xué)習(xí)方法，通過讓模型從大量有正解的任務(wù)中學(xué)習(xí)（比如數(shù)學(xué)或編程問題），以此來改進(jìn)處理特定任務(wù)的方式。此外，OpenAI還嘗試在預(yù)訓(xùn)練后進(jìn)行推理，即讓模型在回答問題時花更多時間“思考”。OpenAI科學(xué)家Noam Brown稱它是推理計算的Scaling（擴(kuò)展）。

圖片來源：X

谷歌似乎也在效仿OpenAI的做法。最近幾周，DeepMind在其Gemini部門組建了一個團(tuán)隊，旨在開發(fā)類似OpenAI推理模型的能力。

谷歌的研究人員也在專注于對模型進(jìn)行手動改進(jìn)。參與這項工作的人員表示，改進(jìn)工作包括改變“超參數(shù)”，或者是決定模型如何處理信息的變量，例如模型在訓(xùn)練數(shù)據(jù)中建立不同概念或模式之間聯(lián)系的速度。

巨頭紛紛轉(zhuǎn)向AI應(yīng)用

在AI進(jìn)化遇阻的討論下，AI應(yīng)用迎來大爆發(fā)。

得益于AI廣告引擎模型Axon2.0帶來的廣告匹配效率提升，廣告平臺公司AppLovin業(yè)績大超預(yù)期。年初至今，該股的累計漲幅高達(dá)650%，是英偉達(dá)同期漲幅的3倍以上，總市值已經(jīng)接近1000億美元。

圖片來源：谷歌財經(jīng)

AI平臺（AIP）顯著推動了Palantir的業(yè)務(wù)增長。11月15日，這家公司宣布計劃將其上市地點從紐約證券交易所轉(zhuǎn)移至納斯達(dá)克交易所。當(dāng)天，該股漲11.14%，報65.77美元，該股年初至今漲283.05%。

國內(nèi)AI應(yīng)用中，字節(jié)跳動旗下的豆包年初至今累計下載量已經(jīng)突破1億。10月份，Kimi的月活躍用戶數(shù)突破千萬大關(guān)。MiniMax海外版應(yīng)用的10月訪問量較上月暴漲2773%。

百度CEO李彥宏認(rèn)為，AI模型開發(fā)放緩也不一定就是個壞事。在最近的一次訪談中，他表示，基礎(chǔ)模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個生態(tài)其實是會比較亂。

李彥宏解釋道：“基礎(chǔ)模型不能夠特別快地迭代。如果老在變，那做應(yīng)用的人就無所適從了，該做什么我不知道，我剛做了兩個月，你又升級了，把我做的沖掉了，白做了，我又得重新適應(yīng)一遍新的規(guī)則。我覺得可能兩年一個大的版本是一個比較合適的節(jié)奏。”

扎克伯格也表示，在最壞的情況下，即使技術(shù)沒有改進(jìn)，仍然有很大空間在現(xiàn)有技術(shù)的基礎(chǔ)上打造消費者和企業(yè)產(chǎn)品。

作為AI領(lǐng)域的領(lǐng)頭羊，OpenAI也在加強對應(yīng)用層面的探索。據(jù)報道，OpenAI將于明年1月推出能夠幫助用戶整理文件，預(yù)訂機(jī)票的AI智能體（AI Agent）軟件。

谷歌正在開發(fā)一款代號為賈維斯計劃的AI代理軟件，“賈維斯”這個名字的靈感來自《鋼鐵俠》的全能AI管家賈維斯。

黃仁勛也開始對AI應(yīng)用表達(dá)了興趣。本周，他在日本舉行的英偉達(dá)AI峰會上和孫正義一起宣布，將聯(lián)合軟銀在日本打造AI+5G網(wǎng)絡(luò)。

同時，他也在會上強調(diào)了AI智能體的潛力——即具備理解、推理、規(guī)劃和執(zhí)行能力的高級數(shù)字智能體，能夠改變各個行業(yè)的生產(chǎn)力。他指出，這些智能體能夠處理復(fù)雜的多步驟任務(wù)，有望“為人類完成 50% 的工作”，從而大幅提升人類的生產(chǎn)力。通過將數(shù)據(jù)轉(zhuǎn)化為可操作的見解，代理式 AI 為企業(yè)提供了強大的工具，可以在不取代人類角色的情況下提升運營效率。

圖片來源：英偉達(dá)官網(wǎng)

值得注意的是，英偉達(dá)的財報將于北京時間11月21日公布，預(yù)計在財報發(fā)布后的電話會議上，黃仁勛將宣布更多關(guān)于AI應(yīng)用的消息。

過去一周，英偉達(dá)股價的“瘋漲”勢頭暫時有所放緩。

圖片來源：谷歌財經(jīng)

投資公司Roundhill CEO Dave Mazza對《每日經(jīng)濟(jì)新聞》記者表示，英偉達(dá)需要在AI領(lǐng)域?qū)崿F(xiàn)新的技術(shù)突破以及持續(xù)的收入增長，才能保持市值的領(lǐng)先地位。

封面圖片來源：視覺中國-VCG41N1309760279