在人工智能與高性能計(jì)算領(lǐng)域需求激增的今天,數(shù)據(jù)存儲(chǔ)的重要性愈發(fā)凸顯,成為支撐算力釋放的關(guān)鍵因素。上海霄云信息科技有限公司近期隆重發(fā)布了其全新一代AI存儲(chǔ)產(chǎn)品——霄云銀河存儲(chǔ)。這款存儲(chǔ)系統(tǒng)專為人工智能模型訓(xùn)練、高性能計(jì)算(HPC)以及生命科學(xué)等應(yīng)用場(chǎng)景量身打造,憑借“極速、高可用、全鏈路可視”的核心理念,刷新了企業(yè)級(jí)存儲(chǔ)的性能標(biāo)準(zhǔn)。
霄云銀河存儲(chǔ)針對(duì)三大核心場(chǎng)景,全面釋放存儲(chǔ)潛能。在人工智能模型訓(xùn)練與推理方面,該產(chǎn)品內(nèi)置GPU Direct Storage技術(shù),實(shí)現(xiàn)了數(shù)據(jù)直接傳輸至GPU顯存,無需經(jīng)過CPU中轉(zhuǎn),讀取性能高達(dá)90GB/s,寫入性能達(dá)到75GB/s,顯著提升了萬億參數(shù)大模型的訓(xùn)練效率。同時(shí),單個(gè)元數(shù)據(jù)服務(wù)器(MDS)能夠支持50億文件的管理,優(yōu)化了CheckPoint存儲(chǔ),進(jìn)一步加速了模型訓(xùn)練的恢復(fù)流程。
對(duì)于高性能計(jì)算(HPC)領(lǐng)域,霄云銀河存儲(chǔ)支持百萬級(jí)IOPS與微秒級(jí)延遲,通過并行文件系統(tǒng)與InfiniBand高速網(wǎng)絡(luò),完美滿足了氣象模擬、石油勘探計(jì)算等場(chǎng)景對(duì)海量數(shù)據(jù)并行處理的需求。Multi-Rail多網(wǎng)卡聚合技術(shù)使得帶寬利用率超過90%,確保了多客戶端并發(fā)訪問時(shí)的無擁塞狀態(tài)。
在生命科學(xué)領(lǐng)域,霄云銀河存儲(chǔ)高效處理基因測(cè)序、蛋白折疊等超大規(guī)模非結(jié)構(gòu)化數(shù)據(jù),結(jié)合RAID 10/5/6冗余架構(gòu),為科研數(shù)據(jù)的完整性與分析的連續(xù)性提供了堅(jiān)實(shí)保障。
霄云銀河存儲(chǔ)顛覆性設(shè)計(jì),采用“應(yīng)用-雙控-存儲(chǔ)”三層架構(gòu),軟硬件協(xié)同創(chuàng)新,重構(gòu)存儲(chǔ)底層邏輯。雙控服務(wù)器層內(nèi)置高性能并行文件系統(tǒng),支持無縫橫向擴(kuò)展,性能隨節(jié)點(diǎn)增加線性提升。同時(shí),雙控機(jī)箱能夠?qū)崿F(xiàn)10秒級(jí)故障切換,配合共享硬件RAID,確??刂破鞴收蠒r(shí)業(yè)務(wù)零中斷。存儲(chǔ)節(jié)點(diǎn)層采用全閃存RAID陣列,支持熱插拔與在線擴(kuò)容,數(shù)據(jù)冗余無需軟件同步,降低了軟件復(fù)雜性,同時(shí)不占用InfiniBand網(wǎng)絡(luò)帶寬。統(tǒng)一命名空間管理使得新增節(jié)點(diǎn)能夠自動(dòng)納入資源池,提升了擴(kuò)展性。
霄云銀河存儲(chǔ)具備六大功能特性,引領(lǐng)未來存儲(chǔ)發(fā)展。GPU Direct Storage技術(shù)使得數(shù)據(jù)直接傳輸至GPU顯存,消除了CPU瓶頸,模型訓(xùn)練速度提升了兩倍以上。CheckPoint智能優(yōu)化系統(tǒng)能夠自動(dòng)管理存儲(chǔ)資源,加速模型訓(xùn)練恢復(fù)效率。極速故障恢復(fù)功能使得雙控高可用系統(tǒng)最快在10秒內(nèi)完成I/O接管,保障了關(guān)鍵業(yè)務(wù)的連續(xù)性。企業(yè)級(jí)安全與管理功能包括CSI私有客戶端容器化部署,適配Kubernetes生態(tài),以及用戶配額與ACL訪問控制,滿足了金融、醫(yī)療等行業(yè)的合規(guī)需求。硬件級(jí)冗余支持RAID 10/5/6,硬盤故障時(shí)自動(dòng)重建,數(shù)據(jù)安全性超越傳統(tǒng)軟件RAID方案。全鏈路監(jiān)控系統(tǒng)采用獨(dú)立模塊化設(shè)計(jì),實(shí)時(shí)可視化IO性能、硬件狀態(tài)及網(wǎng)絡(luò)負(fù)載,有助于精準(zhǔn)故障定位。
在技術(shù)亮點(diǎn)方面,霄云銀河存儲(chǔ)通過專用硬件處理XOR運(yùn)算,徹底釋放了CPU資源,同時(shí)避免了節(jié)點(diǎn)間數(shù)據(jù)交換占用網(wǎng)絡(luò)帶寬。統(tǒng)一命名空間實(shí)現(xiàn)了跨節(jié)點(diǎn)文件系統(tǒng)的無縫整合,用戶無需手動(dòng)映射路徑,管理效率提升了三倍。InfiniBand提供400Gbps基礎(chǔ)傳輸速度,配合Multi-Rail負(fù)載均衡,實(shí)現(xiàn)了大規(guī)模并行訪問的無擁塞狀態(tài)。
霄云銀河存儲(chǔ)不僅是存儲(chǔ)設(shè)備,更是AI基礎(chǔ)設(shè)施的中樞。通過軟硬件協(xié)同優(yōu)化,解決了傳統(tǒng)存儲(chǔ)在擴(kuò)展性、延遲與管理復(fù)雜度上的痛點(diǎn),實(shí)現(xiàn)了數(shù)據(jù)流動(dòng)與算力增長的完美匹配,助力企業(yè)在AI時(shí)代搶占先機(jī)。
上海霄云信息科技有限公司,成立于2015年,是一家專注于高性能分布式存儲(chǔ)領(lǐng)域的高新技術(shù)企業(yè)。其核心技術(shù)團(tuán)隊(duì)歷經(jīng)十年鉆研,成功轉(zhuǎn)化上海市科委“PB級(jí)海量存儲(chǔ)系統(tǒng)”課題成果。霄云科技自研的高性能分布式存儲(chǔ)產(chǎn)品,具備高品質(zhì)、高可靠性、自主知識(shí)產(chǎn)權(quán)及高技術(shù)壁壘,已廣泛應(yīng)用于醫(yī)療、金融、電信、教育、制造等多個(gè)行業(yè),贏得了用戶的高度贊譽(yù)。