国产成人精品免费视,91天堂嫩模在线播放,国产免费小视频在线观看,久久免费公开视频,国产成人精品免费视频网页大全,日韩不卡在线视频,视频一区二区精品的福利

每日經(jīng)濟(jì)新聞
要聞

每經(jīng)網(wǎng)首頁(yè) > 要聞 > 正文

智能不夠、人工來(lái)湊?Sora首批使用者“揭秘”:爆火短片,3人耗時(shí)兩周,全靠人工后期

每日經(jīng)濟(jì)新聞 2024-05-09 13:01:07

每經(jīng)編輯 黃勝    每經(jīng)實(shí)習(xí)編輯 宋欣悅    

2月15日, 美國(guó)人工智能公司OpenAI發(fā)布了最新“文生視頻”大模型Sora,并附帶發(fā)布了由它生成的48段視頻,引發(fā)了整個(gè)市場(chǎng)的高度關(guān)注。Sora生成視頻的畫(huà)面逼真、連貫流暢,在視頻時(shí)長(zhǎng)方面,也遠(yuǎn)遠(yuǎn)領(lǐng)先于其競(jìng)爭(zhēng)對(duì)手,一度被視為吹向好萊塢的一場(chǎng)大風(fēng)暴。

在Sora公布的作品中,一部名為《氣球人(Air Head)》的短片,因情節(jié)完整、敘事性強(qiáng),引發(fā)廣泛討論。在國(guó)內(nèi)外各大平臺(tái)上,網(wǎng)友們更是毫不吝嗇地夸贊這部作品,甚至有人譽(yù)之為“Sora史上最佳發(fā)布”。

然而,近日,《氣球人(Air Head)》制作團(tuán)隊(duì)Shy Kids在接受在線媒體平臺(tái)Fxguide的采訪時(shí),基于他們使用Sora的親身體驗(yàn),揭示了Sora在視頻生成方面的局限。

Shy Kids揭露,《氣球人》這部短片,是三人耗費(fèi)近兩周才完成,后期工作量只增不減。

圖片來(lái)源:截圖于fxguide

用戶界面僅支持文本輸入

在Sora的用戶操作界面中,藝術(shù)家可以輸入文本,隨后ChatGPT會(huì)將這些文本轉(zhuǎn)化成更長(zhǎng)的一段文字,從而觸發(fā)生成一段視頻。然而,Sora目前并沒(méi)有支持其他輸入方式,也沒(méi)有實(shí)現(xiàn)多模態(tài)功能。這是一個(gè)重要的短板,因?yàn)楸M管Sora在同一鏡頭中的物體一致性處理得還不錯(cuò),但系統(tǒng)目前還無(wú)法確保第一個(gè)鏡頭中的內(nèi)容與隨后的鏡頭完全匹配。也就是說(shuō),即便我們第二次輸入同樣的提示語(yǔ),結(jié)果也可能不同。

帕特里克在Shy Kids制作團(tuán)隊(duì)中,負(fù)責(zé)后期制作,他說(shuō):“我們能做的就是,在提示中盡可能對(duì)角色的服裝以及氣球的類(lèi)型進(jìn)行詳細(xì)地描述。”

Sora生成的每個(gè)獨(dú)立片段,就其所代表的技術(shù)而言,都是令人驚嘆的。然而,如何有效利用這些片段,取決于用戶對(duì) Sora隱式或顯式鏡頭生成方式的理解。

例如,假設(shè)你讓Sora生成一個(gè)在廚房中的長(zhǎng)跟蹤鏡頭,并確保畫(huà)面中的桌上有個(gè)香蕉,Sora 將依賴于其對(duì)“香蕉”這一概念的隱式理解來(lái)生成一個(gè)顯示香蕉的視頻。通過(guò)訓(xùn)練數(shù)據(jù),Sora學(xué)習(xí)了香蕉的隱含特性,如“黃色”、“彎曲”、“有深色末端”等,但它并未存有具體的香蕉圖像,也沒(méi)有一個(gè)“香蕉圖像庫(kù)”,它只有一個(gè)相對(duì)較小、用于壓縮存儲(chǔ)的“潛在空間”。在這個(gè)空間中,“香蕉”僅僅是一個(gè)抽象的概念。

這就意味著,每次生成的結(jié)果都是Sora對(duì)這個(gè)“潛在空間”的一種新的解讀,這就需要我們的提示盡可能精確地描述我們對(duì)這些隱式特征的理解。

靠后期制作,保持角色“Sonny”的一致性

Shy Kids團(tuán)隊(duì)表示,在制作《氣球人》的過(guò)程中,很難確保實(shí)際黃色氣球人在每個(gè)鏡頭中保持一致,《氣球人》中場(chǎng)景,是通過(guò)多次后期剪輯來(lái)接近劇本的。即使團(tuán)隊(duì)明確要求生成一個(gè)黃色氣球,但最后生成的氣球卻可能是其它顏色,有時(shí),氣球上甚至?xí)霈F(xiàn)一個(gè)臉部圖案。另外,因?yàn)楹芏鄽馇蚨紟в欣K子,Sora自動(dòng)將“氣球”和“繩子”關(guān)聯(lián)到了一起。在《氣球人》中,角色Sonny的襯衫前面總是垂著一條繩子,這些繩子都需要在后期制作中移除。

帶有臉部圖案的氣球人 圖片來(lái)源:fxguide

視頻分辨率較低 渲染時(shí)間長(zhǎng)

雖說(shuō)在《氣球人》的制作中,Shy Kids團(tuán)隊(duì)使用的都是Sora所生成的畫(huà)面,但大多經(jīng)過(guò)了調(diào)色和再處理。帕特里克解釋說(shuō),Sora最高可以支持720P的分辨率,1080P分辨率也已經(jīng)推出,但渲染時(shí)間過(guò)長(zhǎng),為提高前期效率,團(tuán)隊(duì)都是在較低分辨率下生成的《氣球人》的所有制作內(nèi)容,后期再通過(guò)Topaz軟件去提高分辨率。

Sora所生成的視頻片段,能以不同的時(shí)間長(zhǎng)度進(jìn)行渲染,如3秒、5秒、10秒、20秒,最長(zhǎng)可達(dá)一分鐘。渲染時(shí)間會(huì)根據(jù)一天中的時(shí)間和云服務(wù)的需求而有所變化。帕特里克回憶說(shuō):“通常情況下,每次渲染大約需要10到20分鐘。渲染的段落長(zhǎng)度對(duì)實(shí)際渲染時(shí)間的影響并不太大。如果渲染的內(nèi)容長(zhǎng)度在3秒到20秒之間,實(shí)際所需的渲染時(shí)間通常都在10到20分鐘這個(gè)范圍內(nèi)。”他解釋說(shuō):“我們之所以會(huì)這樣做,是因?yàn)椋绻@得了一段完整的20秒視頻,我們就有更大的機(jī)會(huì)進(jìn)行剪輯操作,這也相應(yīng)地增加了得到滿意成果的可能性。”

時(shí)間控制不精確 焦點(diǎn)過(guò)于固定

盡管可以在時(shí)間線上對(duì)關(guān)鍵幀進(jìn)行調(diào)整,但對(duì)于動(dòng)作發(fā)生的確切時(shí)間點(diǎn)控制并不精確,結(jié)果具有一定的不確定性。帕特里克說(shuō),“這有點(diǎn)像摸黑射擊,就像老虎機(jī)一樣,不確定它是否能在此時(shí)實(shí)現(xiàn)這些效果。”當(dāng)然,Shy Kids使用的是Sora的最早原型之一,而Sora仍在不斷地進(jìn)行改進(jìn)。

除了選擇分辨率外,Sora還允許用戶選擇畫(huà)面比例,如縱向、橫向(或正方形)。這在從Sonny的牛仔褲向上掃到他的氣球頭的鏡頭中派上了用場(chǎng)。不幸的是,Sora原生不支持這樣的動(dòng)作,它總是希望鏡頭的主焦點(diǎn)——氣球人——始終處于畫(huà)面中。因此,團(tuán)隊(duì)選擇了縱向模式進(jìn)行渲染,然后在后期通過(guò)裁剪手動(dòng)創(chuàng)建了向上掃描的效果。

 

Sora生成的鏡頭需要后期手動(dòng)裁剪 圖片來(lái)源:fxguide

難以理解和執(zhí)行鏡頭運(yùn)動(dòng)指令

Sora 在理解和執(zhí)行鏡頭運(yùn)動(dòng)指令方面,如“跟蹤”、“平移”、“傾斜”或“推進(jìn)”等,其理解和執(zhí)行能力尚待加強(qiáng)。盡管用戶可以輸入如“相機(jī)平移”的提示,但 Sora 并不總是能夠準(zhǔn)確執(zhí)行。

帕特里克提到,Sora在處理攝像機(jī)角度方面的處理似乎有些隨意。“OpenAI的研究人員并沒(méi)有真正像電影制作者那樣思考,更多的是在專(zhuān)注于圖像的生成,而對(duì)于能否真正接收到或理解攝影指令這個(gè)問(wèn)題,他們似乎沒(méi)有太多考慮。”

但目前,幾乎所有視頻生成AI公司都面臨這個(gè)問(wèn)題。Runway AI或許在提供描述攝影機(jī)動(dòng)作的用戶界面方面最為先進(jìn),但Runway的渲染剪輯的質(zhì)量和長(zhǎng)度都不如Sora。

素材與成品比例300:1

雖然所有圖像都是在Sora中生成的,但氣球仍需大量的后期處理。除了隔離氣球以便重新上色,有時(shí)氣球上會(huì)出現(xiàn)Sonny的臉,看似用馬克筆畫(huà)上的,這需要在AE(After Effects)中刪除。類(lèi)似的其他瑕疵也常常需要移除。

Sora生成畫(huà)面 圖片來(lái)源:fxguide

 

后期處理畫(huà)面 圖片來(lái)源:fxguide

Shy Kids的方法類(lèi)似于紀(jì)錄片的后期制作和剪輯方式,先積累大量的鏡頭,然后從這些材料中編織故事,而非嚴(yán)格按照劇本拍攝。雖然短片有劇本,但團(tuán)隊(duì)仍需保持靈活并進(jìn)行調(diào)整。“我們就是獲取大量的鏡頭,并嘗試以一種有趣的方式將其剪輯到旁白中,”帕特里克回憶道。對(duì)于最終進(jìn)入電影的一分半鐘的鏡頭,帕特里克估計(jì)他們生成了“數(shù)百個(gè)生成片段,每個(gè)片段10到20秒”。他補(bǔ)充說(shuō):“我的數(shù)學(xué)不好,但我猜源材料到最終成片數(shù)量的比例,大概是300:1。”

拍攝合成和重新定時(shí)

在《氣球人》里,團(tuán)隊(duì)并沒(méi)有將多個(gè)鏡頭合成在一起。例如,氣球在賽車(chē)上空漂浮的鏡頭都是在一個(gè)鏡頭中生成的。

有趣的是,許多《氣球人》的片段生成時(shí),就像是慢動(dòng)作拍攝的,盡管這并非提示中要求。這種情況發(fā)生的原因不明,因此許多片段不得不重新調(diào)整時(shí)間,使其看起來(lái)像是實(shí)時(shí)拍攝的。顯然,這比減慢快速運(yùn)動(dòng)更容易做到,但這確實(shí)也奇怪,可能是從訓(xùn)練數(shù)據(jù)中推斷出來(lái)的。“我不知道為什么,但似乎許多片段的速度在50%到75%之間,”他補(bǔ)充說(shuō)。“因此,我們需要相當(dāng)多的時(shí)間調(diào)整,以防止整個(gè)項(xiàng)目感覺(jué)像是一個(gè)大型慢動(dòng)作項(xiàng)目。”

場(chǎng)景照明和色彩分級(jí)調(diào)整

Shy Kids在他們的提示詞中使用了“35毫米膠片”這一術(shù)語(yǔ),發(fā)現(xiàn)這樣的提示能帶來(lái)較高一致性的畫(huà)面效果。“如果我們需要高對(duì)比度,我們可以輸入‘高對(duì)比度’、‘主光’,Sora通常會(huì)給我們接近所需的效果,”帕特里克說(shuō)。“但我們?nèi)匀恍枰M(jìn)行完整的色彩調(diào)整,并且我們進(jìn)行了自己的數(shù)字電影外觀處理,我們?cè)谄渲刑砑恿祟w粒和閃爍,以某種方式將一切融合在一起。”Sora目前沒(méi)有提供額外的通道選項(xiàng),如遮罩或深度通道。

版權(quán)帶來(lái)的提示詞限制

為了尊重作品的版權(quán),OpenAI設(shè)定了一些規(guī)定和限制。舉例來(lái)說(shuō),如果你給Sora一個(gè)像是“在一個(gè)未來(lái)的飛船上,一名男子手握光劍走了過(guò)來(lái)。”這樣的提示,并期望生成類(lèi)似《星球大戰(zhàn)》的場(chǎng)景,Sora會(huì)拒絕生成這樣的視頻。Shy Kids團(tuán)隊(duì)在早期測(cè)試中,偶然遇到了這一問(wèn)題。帕特里克回憶說(shuō),當(dāng)他們最初坐下來(lái)測(cè)試Sora時(shí),拍攝了一個(gè)角色背后的鏡頭,類(lèi)似阿羅諾夫斯基式的跟隨鏡頭,他在Sora上輸入了“阿羅諾夫斯基式鏡頭”,但Sora為保護(hù)原作版權(quán),拒絕了這個(gè)提示。

總結(jié)

Sora是一個(gè)引人注目的“文生視頻”大模型項(xiàng)目。Shy Kids團(tuán)隊(duì)僅用大約1.5至2周的時(shí)間,由3人組成的團(tuán)隊(duì)制作了爆火短片《氣球人》。目前,該團(tuán)隊(duì)已經(jīng)在制作一個(gè)自我意識(shí)強(qiáng)烈,或許帶有諷刺意味的續(xù)集。“續(xù)集將從新聞角度出發(fā),聚焦到氣球人Sonny,以及他對(duì)名聲的反應(yīng)和隨后與世界的決裂,”帕特里克說(shuō)。“我們還在探索新技術(shù)!”團(tuán)隊(duì)希望在他們的實(shí)驗(yàn)中更加技術(shù)化,將Sora元素與真實(shí)的實(shí)景拍攝進(jìn)行AE合成,并使用Sora作為輔助的視覺(jué)效果工具。

Sora是一項(xiàng)非常新的技術(shù),即使OpenAI已經(jīng)為Sora勾勒出基本框架并展示了其應(yīng)用,這些框架也尚未開(kāi)放給早期測(cè)試者使用。Sora目前的形式似乎不太可能很快發(fā)布,但它在某種類(lèi)型的隱式圖像生成方面已經(jīng)有了顯著的進(jìn)步。對(duì)于高端項(xiàng)目來(lái)說(shuō),可能還需要一段時(shí)間才能滿足導(dǎo)演要求的具體化程度。對(duì)于許多其它項(xiàng)目來(lái)說(shuō),它已經(jīng)“足夠接近”,并能產(chǎn)生令人驚嘆的圖像?!稓馇蛉恕啡匀恍枰罅康木庉嫼腿藶橹笇?dǎo),才能制作處這個(gè)引人入勝且有趣的故事短片。帕特里克說(shuō),“我只是覺(jué)得人們必須將Sora作為他們流程的真實(shí)部分;然而,如果他們不想?yún)⑴c這樣的事情,那也沒(méi)關(guān)系。”

每日經(jīng)濟(jì)新聞綜合公開(kāi)資料

封面圖片來(lái)源:每日經(jīng)濟(jì)新聞 資料圖

如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

Sora 鏡頭

歡迎關(guān)注每日經(jīng)濟(jì)新聞APP

每經(jīng)經(jīng)濟(jì)新聞官方APP

2

0