每日經(jīng)濟新聞 2025-05-14 23:25:13
每經(jīng)杭州5月14日電(記者葉曉丹)5月14日晚,《每日經(jīng)濟新聞》記者獲悉,阿里巴巴正式開源通義萬相Wan2.1-VACE,這是業(yè)界功能最全的視頻生成與編輯模型,單一模型可同時支持文生視頻、圖像參考視頻生成、視頻重繪、視頻局部編輯、視頻背景延展以及視頻時長延展等全系列基礎生成和編輯能力。本次共開源1.3B和14B兩個版本,其中1.3B版本可在消費級顯卡運行。
據(jù)阿里云方面介紹,Wan2.1-VACE基于通義萬相文生視頻模型研發(fā),同時創(chuàng)新性提出了全新的視頻條件單元(VCU),它在輸入形態(tài)上統(tǒng)一了文生視頻、參考圖生視頻、視頻生視頻,基于局部區(qū)域的視頻生視頻4大類視頻生成和編輯任務;同時,Wan2.1-VACE還進一步解決了多模態(tài)輸入的token(詞元)序列化難題,將VCU輸入的幀序列進行概念解耦,分開重構成可變序列和不可變序列后進行編碼。
據(jù)了解,自今年2月以來,通義萬相已先后開源文生視頻模型、圖生視頻模型和首尾幀生視頻模型,目前在開源社區(qū)的下載量已超330萬。
封面圖片來源:視覺中國-VCG211478193393
如需轉載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。
歡迎關注每日經(jīng)濟新聞APP