每經(jīng)記者 朱成祥    每經(jīng)編輯 梁梟    

近期，無(wú)論是科技領(lǐng)域還是資本市場(chǎng)，最火熱的概念莫過(guò)于ChatGPT和AIGC（人工智能技術(shù)生成內(nèi)容）。從文本到圖片，AIGC都有豐富的應(yīng)用。

那么，在3D世界，AIGC有沒(méi)有應(yīng)用空間？3D引擎與ChatGPT以及GPT類(lèi)工具，能否擦出火花？

針對(duì)以上問(wèn)題，《每日經(jīng)濟(jì)新聞》記者近日采訪了國(guó)際3D引擎巨頭Unity多位專(zhuān)家。Unity中國(guó)高級(jí)經(jīng)理兼跨端移植技術(shù)負(fù)責(zé)人孫志鵬告訴記者，對(duì)應(yīng)AI作畫(huà)，3D引擎可能實(shí)現(xiàn)“一句話建模”。

3D引擎可能實(shí)現(xiàn)“一句話建模”

ChatGPT可實(shí)現(xiàn)人工智能創(chuàng)作文本，基于文本，AI作畫(huà)可實(shí)現(xiàn)人工智能創(chuàng)作圖片，即從一維的文本到二維的平面圖片。那么，基于文本，能否形成三維的視頻呢？即利用CG（計(jì)算機(jī)動(dòng)畫(huà)）技術(shù)以及3D引擎技術(shù)，進(jìn)一步由AI制作微電影。如此前，藝術(shù)家團(tuán)體Sagans就借助虛幻引擎5和AI算法，創(chuàng)造出賽博朋克風(fēng)格的MV。

對(duì)此，孫志鵬表示，AI已被不斷集成至Unity的工具流中，主要用于強(qiáng)化管線的渲染能力，同時(shí)也會(huì)在程序化數(shù)字資產(chǎn)生成和可微渲染的部分，為AIGC的落地做能力加強(qiáng)和生態(tài)儲(chǔ)備，并參與GPT之類(lèi)的預(yù)訓(xùn)練模型的使用探索。在多模態(tài)、數(shù)據(jù)合成、對(duì)比學(xué)習(xí)等領(lǐng)域緊跟學(xué)術(shù)界成果，爭(zhēng)取早日在3D數(shù)字資產(chǎn)創(chuàng)作領(lǐng)域?qū)崿F(xiàn)AIGC。

對(duì)應(yīng)AI作畫(huà)，3D引擎可能實(shí)現(xiàn)“一句話建模”。以場(chǎng)景生成為例，目前看起來(lái)一個(gè)可能的路徑是：首先通過(guò)GPT之類(lèi)的生成模塊，自動(dòng)生成對(duì)一個(gè)用戶需要的場(chǎng)景足夠詳細(xì)的描述，然后通過(guò)一個(gè)多模態(tài)模塊進(jìn)行模態(tài)融合，去驅(qū)動(dòng)一個(gè)全可微的程序化建模模塊來(lái)生成場(chǎng)景，繼而通過(guò)可微渲染器渲染的結(jié)果，最后把這個(gè)結(jié)果交給類(lèi)似CLIP（文末注）的模塊去生成符合最初描述的圖像或視頻。

而類(lèi)似過(guò)程可以用在很多類(lèi)型的資產(chǎn)生成過(guò)程中，“一句話建模”也就由此實(shí)現(xiàn)了。在此之前，工具引擎需要在程序化和可微的方向上做好準(zhǔn)備，同時(shí)時(shí)刻緊跟AIGC相關(guān)領(lǐng)域的科研進(jìn)展，在新銳技術(shù)落地的第一時(shí)間，讓一切成為可能。

中國(guó)很可能誕生最大的元宇宙世界

三維空間除了視頻，還有直播等場(chǎng)景。目前，虛擬人技術(shù)發(fā)展迅速，那么Unity能否進(jìn)一步將自身技術(shù)應(yīng)用到電視直播中，從虛擬人升級(jí)到虛擬演播室？

對(duì)此，Unity中國(guó)回復(fù)記者稱(chēng)，此前，由韓國(guó)開(kāi)發(fā)者使用Unity打造的虛擬人SUA已經(jīng)吸引了全世界的關(guān)注。作為實(shí)時(shí)渲染的數(shù)字人類(lèi)，SUA全身都基于實(shí)時(shí)渲染實(shí)現(xiàn)。實(shí)時(shí)渲染的渲染速度與交互性，讓SUA可以與觀眾實(shí)時(shí)互動(dòng)，也就讓虛擬演播室成為可能。

另外，目前虛擬人在實(shí)際應(yīng)用中，普遍缺乏真實(shí)的人物表情。但在影視制作領(lǐng)域，卻已能生成生動(dòng)的面部表情。比如年前火熱的電影——《阿凡達(dá)2水之道》。該影片的CG技術(shù)提供方WētāFX，和此前已被Unity收購(gòu)的Wētā Digital師出同門(mén)。

圖片來(lái)源：Unity供圖

Unity Wētā Tools對(duì)《每日經(jīng)濟(jì)新聞》記者表示，制作中的最大突破是為影片中的數(shù)字角色制作創(chuàng)新地提出了APFS系統(tǒng)（Anatomically Plausible Facial System），這是一個(gè)基于肌肉纖維曲線的面部動(dòng)畫(huà)參數(shù)化系統(tǒng)，同時(shí)Wētā也提供了一整套與之配合的特效畫(huà)面制作生產(chǎn)流程。

全新的APFS系統(tǒng)提供了一個(gè)更基于解剖學(xué)基礎(chǔ)、更以動(dòng)畫(huà)師為中心的創(chuàng)作環(huán)境。在幫助動(dòng)畫(huà)師通過(guò)肌肉曲線直接控制面部肌肉，生成高保真的面部表情的同時(shí)，也將復(fù)雜的非線性皮膚表現(xiàn)納入深度神經(jīng)網(wǎng)絡(luò)（一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型），繼而通過(guò)大約7～10萬(wàn)次的高質(zhì)量面部掃描來(lái)訓(xùn)練AI模型，旨在幫助電影創(chuàng)作者更高效地制作高逼真度畫(huà)面。

Unity在3D引擎和CG技術(shù)領(lǐng)域擁有的技術(shù)實(shí)力，能給中國(guó)的相關(guān)產(chǎn)業(yè)發(fā)展帶來(lái)哪些助力？

Unity中國(guó)表示，公司致力于打造中國(guó)本土的、適配各類(lèi)國(guó)產(chǎn)軟硬件平臺(tái)的數(shù)字生產(chǎn)力工具，豐富由實(shí)時(shí)圖形渲染技術(shù)支撐的AR、VR、MR以及數(shù)字孿生體驗(yàn)，賦能中國(guó)數(shù)字經(jīng)濟(jì)安全、穩(wěn)定、健康發(fā)展。

在Unity看來(lái)，中國(guó)擁有世界上最大的游戲市場(chǎng)和汽車(chē)市場(chǎng)，也是最大的制造業(yè)國(guó)家、基建國(guó)家。這意味著，中國(guó)擁有全球最大的數(shù)字孿生市場(chǎng)，也很可能誕生最大的元宇宙世界。

注：CLIP，Contrastive Language-Image Pre-training，是一種機(jī)器學(xué)習(xí)技術(shù)，它可以準(zhǔn)確理解和分類(lèi)圖像和自然語(yǔ)言文本，這對(duì)圖像和語(yǔ)言處理具有深遠(yuǎn)的影響。

封面圖片來(lái)源：Unity供圖