近日,階躍星辰公司震撼發(fā)布了其傾力打造的最新3D大模型——Step1X-3D,并慷慨地宣布將此模型開源。這款模型擁有驚人的4.8B總參數(shù)量,其中,1.3B專注于幾何模塊的精細(xì)構(gòu)建,而3.5B則致力于紋理模塊的生動(dòng)呈現(xiàn)。Step1X-3D通過創(chuàng)新的3D原生兩階段架構(gòu)設(shè)計(jì),實(shí)現(xiàn)了幾何與紋理表征的巧妙解耦,從而確保了生成內(nèi)容的結(jié)構(gòu)穩(wěn)固性和視覺逼真度。
Step1X-3D之所以能夠達(dá)到如此卓越的效果,離不開其堅(jiān)實(shí)的數(shù)據(jù)支撐和先進(jìn)的算法優(yōu)化。階躍星辰團(tuán)隊(duì)從超過500萬的原始數(shù)據(jù)中精挑細(xì)選,最終建立了包含200萬高質(zhì)量、標(biāo)準(zhǔn)化樣本的訓(xùn)練數(shù)據(jù)庫。該模型還引入了增強(qiáng)型網(wǎng)格-SDF轉(zhuǎn)換技術(shù),極大地提升了學(xué)習(xí)的準(zhǔn)確性和生成效率。在幾何生成層面,混合VAE-DiT架構(gòu)確保了3D模型結(jié)構(gòu)的完整性,而銳利邊緣采樣技術(shù)則捕捉到了精細(xì)入微的幾何細(xì)節(jié)。在紋理生成方面,Step1X-3D則基于SD-XL模型進(jìn)行優(yōu)化,并結(jié)合了幾何條件引導(dǎo)和多視圖同步技術(shù),使得生成的紋理色彩豐富、細(xì)節(jié)生動(dòng)。
令人矚目的是,Step1X-3D的架構(gòu)設(shè)計(jì)與主流的2D生成模型,如Stable Diffusion,保持高度兼容,并融入了成熟的2D控制技術(shù),如輕量化的LoRA微調(diào)。這一特性使得用戶能夠直觀地調(diào)控生成3D資產(chǎn)的對(duì)稱性、表面細(xì)節(jié)(如鋒利度、平滑度)等多種屬性,從而更精確地滿足創(chuàng)作需求。
階躍星辰不僅在模型研發(fā)上取得了顯著成果,還慷慨地分享了其數(shù)據(jù)清洗、預(yù)處理策略,以及800K高質(zhì)量的3D資產(chǎn)。同時(shí),公司還開源了3D VAE、3D geometry Diffusion以及texture Diffusion的全鏈路訓(xùn)練代碼。這些舉措無疑將為3D生成技術(shù)的發(fā)展注入強(qiáng)勁動(dòng)力,為開發(fā)者提供寶貴的資源和工具。