11月底就被“劇透”的騰訊混元大模型文生視頻功能,在12月3日正式上線。目前該模型已上線騰訊元寶App,用戶可在AI應(yīng)用中的“AI視頻”板塊申請(qǐng)?jiān)囉?,企業(yè)客戶通過(guò)騰訊云提供服務(wù)接入,目前API(應(yīng)用程序編程接口)同步開放內(nèi)測(cè)申請(qǐng)。自O(shè)penAI發(fā)布Sora,國(guó)內(nèi)外的視頻生成式大模型輪番搶鏡,在國(guó)內(nèi)快手和字節(jié)跳動(dòng)正面交鋒,阿里云、MiniMax、美圖等也有備而來(lái),和同行相比,騰訊混元不算快節(jié)奏。
在提示框輸入一段描述,就可以生成一段視頻,從使用流程看,騰訊混元大模型的文生視頻功能和類似產(chǎn)品無(wú)異。在這部分,混元給用戶提供了轉(zhuǎn)場(chǎng)視頻、多動(dòng)作視頻、超寫實(shí)視頻三種靈感提示。
北京商報(bào)記者體驗(yàn)發(fā)現(xiàn),用戶可以選擇寫實(shí)、動(dòng)畫、電影、黑白、賽博朋克5種視頻風(fēng)格及5種比例。高級(jí)指令部分的選擇更多,包括景別、光線、鏡頭運(yùn)動(dòng)等,其中景別包括特寫、近景等5種,鏡頭運(yùn)動(dòng)包括固定鏡頭、手持?jǐn)z影、拉近鏡頭等14種。
根據(jù)騰訊提供的評(píng)測(cè)報(bào)告,騰訊混元視頻生成模型與國(guó)內(nèi)兩個(gè)同類模型的持續(xù)時(shí)間都是5秒,在文本對(duì)齊方面的得分分別是61.8%、62.6%、60.1%,運(yùn)動(dòng)質(zhì)量方面分別是66.5%、61.7%、62.9%,視覺(jué)質(zhì)量方面分別是95.7%、95.6%、97.7%。和GENN-3 alpha(Web)相比,騰訊混元視頻生成模型的持續(xù)時(shí)間少一秒,文本對(duì)齊高14.1個(gè)百分點(diǎn),運(yùn)動(dòng)質(zhì)量高11.8個(gè)百分點(diǎn),視覺(jué)質(zhì)量持平。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人凱撒介紹,混元基于跟Sora類似的DiT架構(gòu),在架構(gòu)設(shè)計(jì)上進(jìn)行了升級(jí)?;煸曨l生成模型適配新一代文本編碼器提升語(yǔ)義遵循,其語(yǔ)義跟隨能力可以更好地應(yīng)對(duì)多個(gè)主體描繪,實(shí)現(xiàn)更細(xì)致的指令和畫面呈現(xiàn);采用統(tǒng)一的全注意力機(jī)制,使每幀視頻的銜接更流暢,實(shí)現(xiàn)主體一致的多視角鏡頭切換;通過(guò)圖像視頻混合VAE(3D變分編碼器),讓模型在細(xì)節(jié)表現(xiàn)有明顯提升,特別是小人臉、高速鏡頭等場(chǎng)景。
當(dāng)天,騰訊宣布開源該視頻生成大模型,該模型已在Hugging Face平臺(tái)及Github上發(fā)布,包含模型權(quán)重、推理代碼、模型算法等完整模型,企業(yè)與個(gè)人開發(fā)者可免費(fèi)使用和開發(fā)生態(tài)插件。目前,騰訊混元已開源旗下文生文、文生圖和3D生成大模型。
對(duì)于為何選在此時(shí)上線文生視頻功能,凱撒的回答是:“內(nèi)部一直在進(jìn)行視頻生成能力的打磨,現(xiàn)在上線水到渠成?!睒I(yè)內(nèi)人士更關(guān)心的是,該功能和同行的幾個(gè)月時(shí)間差對(duì)騰訊的壓力,“視頻生成的成熟度還沒(méi)有到外界想象的那么高,從技術(shù)上看還沒(méi)有到大規(guī)模商業(yè)化的程度,還在要自己做技術(shù)打磨的階段”,凱撒說(shuō)。
在和北京商報(bào)記者交流時(shí),比達(dá)分析師李錦清表示,“文生視頻的實(shí)現(xiàn)難度更高,但商業(yè)空間更大,短期內(nèi)競(jìng)爭(zhēng)門檻不會(huì)馬上建立,行業(yè)和企業(yè)有共性或特性的問(wèn)題要解決,比如數(shù)據(jù)就是個(gè)檻”。
根據(jù)GIR(GlobalInfo Research)調(diào)研,2023年全球文生視頻大模型收入大約720萬(wàn)美元,預(yù)計(jì)2030年達(dá)到22.19億美元,2024—2030年期間,年復(fù)合增長(zhǎng)率CAGR有望達(dá)到56.6%。