在QCon全球軟件開發(fā)大會(huì)（北京站）上，焱融科技CTO張文濤分享了高性能全閃并行文件系統(tǒng)YRCloudFile的設(shè)計(jì)與實(shí)踐，深入探討了AI訓(xùn)練場景中的存儲(chǔ)挑戰(zhàn)與解決方案。張文濤指出，深度學(xué)習(xí)領(lǐng)域中，數(shù)據(jù)與算力是模型訓(xùn)練的核心要素，但數(shù)據(jù)規(guī)模和模型復(fù)雜度的快速增長導(dǎo)致存儲(chǔ)性能成為制約訓(xùn)練效率的關(guān)鍵瓶頸。

張文濤通過meta的存儲(chǔ)增長數(shù)據(jù)和某大客戶的實(shí)際案例，揭示了AI時(shí)代存儲(chǔ)需求的爆發(fā)式增長。他提到，2022年ChatGPT發(fā)布后，國內(nèi)大模型廠商的數(shù)據(jù)量年均增速從20T躍升至60T，存儲(chǔ)容量與性能需求同步激增。AI全流程中，數(shù)據(jù)采集、處理、訓(xùn)練、推理和歸檔各環(huán)節(jié)均面臨不同挑戰(zhàn)，其中訓(xùn)練環(huán)節(jié)對(duì)存儲(chǔ)性能的要求最為嚴(yán)苛。

針對(duì)AI訓(xùn)練場景，YRCloudFile通過多項(xiàng)技術(shù)創(chuàng)新解決了高并發(fā)、海量小文件、帶寬峰值等核心問題。系統(tǒng)采用靜態(tài)數(shù)據(jù)路由算法，在文件創(chuàng)建時(shí)即確定存儲(chǔ)位置，避免訪問時(shí)的元數(shù)據(jù)查詢開銷，同時(shí)利用多磁盤并行提升帶寬利用率。Multi-Channel技術(shù)通過網(wǎng)卡聚合突破單網(wǎng)卡帶寬限制，NUMA親和性優(yōu)化避免跨節(jié)點(diǎn)內(nèi)存訪問，RDMA單邊編程模式減少內(nèi)存拷貝，共同將單節(jié)點(diǎn)吞吐量提升至480GB/s。

在海量小文件處理方面，YRCloudFile采用基于Dentry Hash的元數(shù)據(jù)分布策略，通過根目錄固定、子目錄哈希選擇和本地性優(yōu)化，確保元數(shù)據(jù)操作均勻分布且具備高效預(yù)取能力。測(cè)試數(shù)據(jù)顯示，YRCloudFile在1億至100億文件規(guī)模下，元數(shù)據(jù)OPS性能穩(wěn)定，遠(yuǎn)超開源CephFS的衰減表現(xiàn)。同時(shí)，系統(tǒng)通過弱化POSIX語義、異步close操作等技術(shù)，將小文件訪問性能提升10倍以上。

為滿足大規(guī)模集群需求，YRCloudFile設(shè)計(jì)了匯聚式心跳上報(bào)機(jī)制和UDP推拉結(jié)合的事件同步方案，支持200余個(gè)全閃節(jié)點(diǎn)和10萬個(gè)客戶端的擴(kuò)展能力。智能數(shù)據(jù)分層功能通過時(shí)間和大小策略，自動(dòng)將冷數(shù)據(jù)下沉至對(duì)象存儲(chǔ)，同時(shí)保持業(yè)務(wù)透明無感。在AI訓(xùn)練中，數(shù)據(jù)預(yù)熱功能確保GPU快速訪問熱點(diǎn)數(shù)據(jù)，避免冷啟動(dòng)延遲。

在運(yùn)維層面，YRCloudFile提供多租戶管理、訪問權(quán)限控制、日志審計(jì)和回收站等安全特性，支持彈性數(shù)據(jù)網(wǎng)絡(luò)打通多網(wǎng)絡(luò)平面。針對(duì)單流業(yè)務(wù)，系統(tǒng)通過緩存預(yù)取優(yōu)化性能；針對(duì)小模型訓(xùn)練，設(shè)置Cache HardLimit避免延遲抖動(dòng)；針對(duì)IB網(wǎng)絡(luò)擁塞，實(shí)施客戶端限速保障整體吞吐量。

張文濤還介紹了YRCloudFile在推理場景的優(yōu)化方案。系統(tǒng)為KVCache提供PB級(jí)緩存空間，單個(gè)節(jié)點(diǎn)支持40GBps帶寬和低延遲訪問，使長上下文場景的TTFT延遲降低13倍，高并發(fā)場景性能顯著提升。DataInsight解決方案支持百億級(jí)數(shù)據(jù)秒級(jí)檢索，通過多維度組合查詢和增量數(shù)據(jù)感知，幫助企業(yè)快速構(gòu)建知識(shí)庫平臺(tái)。

張文濤畢業(yè)于華中科技大學(xué)計(jì)算機(jī)專業(yè)碩士，擁有15年分布式存儲(chǔ)領(lǐng)域經(jīng)驗(yàn)，主導(dǎo)了YRCloudFile從研發(fā)到落地的全過程。該系統(tǒng)已廣泛應(yīng)用于AI及高算力場景，具備豐富的架構(gòu)設(shè)計(jì)和性能優(yōu)化經(jīng)驗(yàn)。