B站團(tuán)隊近期宣布了一項重大技術(shù)突破,于5月12日正式開源了名為AniSora的動漫視頻生成模型。這一舉措標(biāo)志著在動漫內(nèi)容創(chuàng)作領(lǐng)域,AI技術(shù)邁出了重要一步。
B站團(tuán)隊指出,盡管當(dāng)前已有諸如Sora、Kling、CogVideoX等先進(jìn)的自然視頻生成模型,但這些模型在動漫視頻生成方面仍存在一定的局限性。動漫的獨特藝術(shù)風(fēng)格、夸張的運動表現(xiàn)以及對物理規(guī)律的打破,給模型的訓(xùn)練和評測帶來了巨大挑戰(zhàn)。
為了克服這些挑戰(zhàn),B站團(tuán)隊精心打造了AniSora系統(tǒng)。該系統(tǒng)涵蓋了數(shù)據(jù)處理流水線、可控生成模型以及評測數(shù)據(jù)集等多個方面。其中,數(shù)據(jù)處理流水線整合了超過1000萬份高質(zhì)量數(shù)據(jù),為模型的訓(xùn)練提供了堅實的基礎(chǔ)。可控生成模型則引入了時空掩碼模塊,支持圖生視頻、幀插值、局部圖像引導(dǎo)等關(guān)鍵動畫制作功能,使得生成的動漫視頻更加生動和逼真。
為了評估AniSora模型的性能,B站團(tuán)隊還收集了948段多樣化動畫視頻,并配套進(jìn)行了雙盲人評實驗及VBench測試。測試結(jié)果顯示,AniSora模型在人物一致性與運動一致性方面均達(dá)到了業(yè)界領(lǐng)先水平。
為了讓大家更直觀地感受AniSora模型的魅力,B站團(tuán)隊還提供了多個圖生視頻示例。在示例中,可以看到各種動漫風(fēng)格的場景和角色,如坐在汽車?yán)锵蚝髶]手的人物、身穿紅色婚服走向遠(yuǎn)方的人物、金發(fā)人物伸手觸摸跪著的人物的頭部等。這些場景和角色的動作流暢自然,充滿了動漫特有的夸張和想象力。
AniSora模型的開源,無疑將激發(fā)更多動漫創(chuàng)作者的熱情,推動動漫產(chǎn)業(yè)的創(chuàng)新發(fā)展。同時,這一技術(shù)也將為AI在動漫領(lǐng)域的應(yīng)用開辟更廣闊的空間。
對于對動漫創(chuàng)作感興趣的讀者來說,不妨前往AniSora的開源地址,親自體驗這一技術(shù)的神奇魅力。相信在不久的將來,我們將看到更多由AniSora模型生成的精彩動漫作品。