每日經(jīng)濟(jì)新聞 2022-12-13 10:39:21
每經(jīng)AI快訊,中國(guó)銀河12月13日發(fā)布研報(bào)稱:給予計(jì)算機(jī)推薦(維持)評(píng)級(jí)。
事件:12月1日,美國(guó)人工智能公司OpenAI在網(wǎng)頁(yè)上推出自然語(yǔ)言處理領(lǐng)域(NLP)的模型ChatGPT,它能夠通過對(duì)話方式進(jìn)行交互,并根據(jù)用戶輸入的自然語(yǔ)言文本內(nèi)容,自動(dòng)生成新的文本內(nèi)容。一周內(nèi),ChatGPT的用戶已突破100萬。
什么是ChatGPT:ChatGPT是在GPT3.5大模型語(yǔ)言模型(LLM,即LargeLanguageModel)的基礎(chǔ)上,加入“基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF,ReinforcementLearningfromHumanFeedback)”來不斷微調(diào)(Fine-tune)預(yù)訓(xùn)練語(yǔ)言模型,使得LLM模型學(xué)會(huì)理解不同類型的命令指令,并通過多重標(biāo)準(zhǔn)合理判斷基于給定的prompt輸入指令,輸出的是否為優(yōu)質(zhì)信息(這些標(biāo)準(zhǔn)包括:富含信息、內(nèi)容豐富、對(duì)用戶有幫助、無害、不包含歧視信息等)。
ChatGPT引爆AIGC,AIGC將迎多場(chǎng)景爆發(fā)期:AIGC即AI-GeneratedContent,是繼UGC、PGC之后利用AI技術(shù)自動(dòng)生成內(nèi)容的新型生產(chǎn)方式。相比UGC和PGC,AIGC的最大不同是基于海量數(shù)據(jù)、風(fēng)格隨機(jī)多變、跨模態(tài)融合、認(rèn)知交互力等新技術(shù)導(dǎo)向特征。隨著ChatGPT的技術(shù)日漸成熟,AIGC將在電商虛擬主播、教育、金融、醫(yī)療、影視娛樂等多場(chǎng)景爆發(fā),并進(jìn)一步催生元宇宙的快速發(fā)展。
ChatGPT的技術(shù)發(fā)展路徑:從GPT-1到InstructGPT,數(shù)據(jù)量與參數(shù)量不斷增加,模型精度和能力提升:2018年,在自然語(yǔ)言處理領(lǐng)域(NLP)剛興起時(shí),OpenAI就推出了初代GPT,它的運(yùn)行邏輯是:先通過無標(biāo)簽數(shù)據(jù)學(xué)習(xí)生成語(yǔ)言模型,并能夠運(yùn)用于一些與有監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中。此后再根據(jù)特定的下游任務(wù)進(jìn)行有監(jiān)督的微調(diào),提高其泛化能力。GPT-2擴(kuò)展了網(wǎng)絡(luò)參數(shù)和數(shù)據(jù)集,進(jìn)行多任務(wù)學(xué)習(xí),可以在數(shù)據(jù)量足夠豐富且模型容量足夠大時(shí),通過訓(xùn)練語(yǔ)言模型就能夠完成有監(jiān)督學(xué)習(xí)的任務(wù)。對(duì)比GPT-2,2020年推出的GPT-3最顯著的特征是龐大的數(shù)據(jù)量和參數(shù)投入,整體訓(xùn)練過程耗資1200萬美元,投入數(shù)據(jù)量達(dá)上萬億,模型參數(shù)量達(dá)到1750億。GPT-3延續(xù)了前兩代GPT的技術(shù)架構(gòu),但改變了“大規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練+下游數(shù)據(jù)標(biāo)注微調(diào)”的方式,采用情境學(xué)習(xí)(in-contextlearning)來提高模型對(duì)話輸出的性能。GPT-3的規(guī)模和語(yǔ)言能力幾乎是最強(qiáng)大的。它能在不做微調(diào)的情況下,在一些傳統(tǒng)的NLP任務(wù)中表現(xiàn)得更好,包括實(shí)現(xiàn)閉卷問答、模式解析、純語(yǔ)言建模、機(jī)器翻譯等;在新的領(lǐng)域,GPT-3將NLP的應(yīng)用擴(kuò)展到缺乏足夠訓(xùn)練數(shù)據(jù)的領(lǐng)域,例如在開發(fā)程序代碼、文章生成和信息檢索領(lǐng)域取得了實(shí)質(zhì)性的進(jìn)展。然而,GPT-3在推理和理解能力上還有較長(zhǎng)的路要走,在自然語(yǔ)言推理(NLI)任務(wù)中表現(xiàn)不佳。InstructGPT和ChatGPT:更好地遵循用戶意圖、更少的虛假信息。OpenAI在2022年初發(fā)布了InstructGPT。該語(yǔ)言模型通過“基于人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)和監(jiān)督學(xué)習(xí)”來提高輸出質(zhì)量。雖然InstructGPT的參數(shù)量?jī)H為13億左右,相比于GPT-3縮小了100倍以上;但在遵循指令方面,能夠更好地遵循用戶意圖,將有害的、不真實(shí)或者有偏差的信息輸出最小化。在優(yōu)化的模型上,ChatGPT基于InstructGPT進(jìn)一步改進(jìn),在模型結(jié)構(gòu)和訓(xùn)練流程上遵循上述方式,但收集和標(biāo)注數(shù)據(jù)的方式上發(fā)生了變化,通過采取監(jiān)督學(xué)習(xí)的方式讓模型學(xué)習(xí)人類排序的方式。
ChatGPT的優(yōu)勢(shì)與缺陷:優(yōu)勢(shì)是ChatGPT不需要任何額外的訓(xùn)練就能在多種不同的領(lǐng)域中應(yīng)用并快速輸出高質(zhì)量的文本,相較于以前的模型已具備較強(qiáng)的自然語(yǔ)言處理能力。但目前ChatGPT在精準(zhǔn)性、真實(shí)性、重復(fù)率和依賴性等問題上尚待改善:第一、由于技術(shù)實(shí)現(xiàn)的問題,ChatGPT會(huì)不可避免地寫出一些似是而非、或者荒謬的答案,這將導(dǎo)致植入虛假數(shù)據(jù)和誤導(dǎo)用戶的風(fēng)險(xiǎn)。ChatGPT依然沒有完全克服大型語(yǔ)言模型(LLM)的這一常見缺點(diǎn);第二、在較長(zhǎng)的會(huì)話中,由于訓(xùn)練數(shù)據(jù)的偏差和過度修正,ChatGPT會(huì)過度強(qiáng)調(diào)某些短語(yǔ)或者句子,導(dǎo)致重復(fù)性高的問題;第三、ChatGPT的強(qiáng)大能力依賴語(yǔ)料庫(kù)、數(shù)據(jù)量的抓取和復(fù)雜的訓(xùn)練過程。ChatGPT模型依賴于大規(guī)模離線語(yǔ)料進(jìn)行訓(xùn)練,往往不能充分接受并采用在線提供的即時(shí)信息,難以理解對(duì)話中提及的因果關(guān)系,也無法基于已有信息進(jìn)行推測(cè),這距離人類舉一反三的能力相差較遠(yuǎn)。
可能存在的瓶頸:ChatGPT本身的缺陷可能通過技術(shù)進(jìn)步和優(yōu)化訓(xùn)練方式得到解決,但它的爆火卻引發(fā)了人們對(duì)AIGC行業(yè)中安全性、倫理約束和創(chuàng)造力的思考,或?qū)⒊蔀榘l(fā)展瓶頸:一方面,由于RLFH并不能完全避免ChatGPT訓(xùn)練庫(kù)中學(xué)習(xí)到的不道德或有偏見的回答,也會(huì)導(dǎo)致在模糊提示或引導(dǎo)回答的過程中讓ChatGPT輸出一些有害信息,導(dǎo)致輸出結(jié)果的安全性降低。另一方面,在創(chuàng)造性、創(chuàng)作倫理和知識(shí)產(chǎn)權(quán)等方面并未形成有效界定。在數(shù)據(jù)挖掘、大規(guī)模計(jì)算、統(tǒng)計(jì)、多線程工作等數(shù)據(jù)處理分析領(lǐng)域,人工智能有著人類不可比擬的優(yōu)勢(shì),但是以“創(chuàng)新和感知”為基礎(chǔ)的創(chuàng)造過程是機(jī)器學(xué)習(xí)和模型難以訓(xùn)練的。目前ChatGPT能夠在用戶的引導(dǎo)下快速生成小說、詩(shī)歌、散文、編程等需要?jiǎng)?chuàng)造力的內(nèi)容,或許將對(duì)創(chuàng)作者和以版權(quán)為基礎(chǔ)的行業(yè)造成沖擊。文本生成的過程是基于數(shù)據(jù)庫(kù)內(nèi)容的學(xué)習(xí),這是否會(huì)構(gòu)成對(duì)被抓取作品的侵權(quán),ChatGPT生成的文本內(nèi)容是否具有著作權(quán),是否屬于該用戶等一系列問題的答案尚不明確。
ChatGPT的能力目前幾乎可以涵蓋各個(gè)自然語(yǔ)言交互領(lǐng)域,例如聊天機(jī)器人、對(duì)話系統(tǒng)、智能客服、信息檢索、主題建模、文本生成和總結(jié)、NLP作為服務(wù)的翻譯、轉(zhuǎn)錄、總結(jié)等等,未來應(yīng)用領(lǐng)域?qū)⒚嫦蛩{(lán)海:例如,在聊天機(jī)器人領(lǐng)域,目前ChatGPT已經(jīng)能基本滿足用戶的提供個(gè)性化需求和信息提供服務(wù);在需要智能客服的電商、金融、醫(yī)療、教育、政務(wù)等垂直領(lǐng)域等,ChatGPT能夠結(jié)合行業(yè)特點(diǎn)和需求,構(gòu)建自動(dòng)應(yīng)答系統(tǒng),為客戶提供快速、準(zhǔn)確的問題解答。除此外,在傳媒、娛樂、設(shè)計(jì)和影視領(lǐng)域,ChatGPT能夠協(xié)助完成一些較低層次的任務(wù),包括文稿生成、采訪助手、摘要總結(jié)等,或?qū)⑻岣咝袠I(yè)的運(yùn)行效率。
ChatGPT的商業(yè)化落地方式還待商榷:第一、由于GPT-3的訓(xùn)練耗資巨大,且需要大量的數(shù)據(jù)集和算力,即使ChatGPT未來應(yīng)用前景廣闊,如果不能降低模型的更新訓(xùn)練成本和推理成本,將限制中小B端企業(yè)的采購(gòu)意愿。第二、目前正在免費(fèi)測(cè)試階段的ChatGPT還未解決GPT-3模型存在的準(zhǔn)確性和安全性問題,還需要進(jìn)一步優(yōu)化迭代。此前,OpenAI已嘗試過通過API接口的方式推動(dòng)GPT-3的商業(yè)化,但由于模型問題并未通過測(cè)試階段。雖然目前OpenAI已找到方式優(yōu)化輸出虛假信息的問題,但效力遠(yuǎn)遠(yuǎn)不足。如果不能解決這兩個(gè)問題,GPT的商業(yè)化道路還需等待。
投資建議:ChatGPT代表自然語(yǔ)言處理技術(shù)一大進(jìn)步,利好相關(guān)AI公司的技術(shù)與產(chǎn)品落地,可重點(diǎn)關(guān)注拓爾思(300229.SZ)、商湯-W(0020.HK)、科大訊飛(002230.SZ)。
風(fēng)險(xiǎn)提示:技術(shù)研發(fā)不及預(yù)期的風(fēng)險(xiǎn);商業(yè)化落地方式尚不明確的風(fēng)險(xiǎn);下游需求不及預(yù)期的風(fēng)險(xiǎn)。
每經(jīng)頭條(nbdtoutiao)——經(jīng)濟(jì)學(xué)家姚洋:立足常識(shí),發(fā)展才是解決一切問題的根本 | 重磅專訪
(記者 王曉波)
免責(zé)聲明:本文內(nèi)容與數(shù)據(jù)僅供參考,不構(gòu)成投資建議,使用前請(qǐng)核實(shí)。據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關(guān)注每日經(jīng)濟(jì)新聞APP