亚洲精品国产a久久久久久,亚洲 激情 ,欧美精品,亚洲av日韩综合一区在线观看,亚洲精品不卡av在线播放,无码国产69精品久久久久同性

資訊在沃

EdgeAIGC新突破:TD3算法助力邊緣緩存命中率大幅提升41%以上

   發(fā)布時間:2025-07-29 03:08 作者:沈瑾瑜

近年來,隨著ChatGPT、Sora、Stable Diffusion等人工智能生成內容(AIGC)工具的興起,算力需求急劇攀升,全球推理請求量持續(xù)增長,云端延遲問題日益凸顯。

面對這一挑戰(zhàn),一個創(chuàng)新的解決方案應運而生。廣州大學、清華大學與浪潮集團攜手,提出了一種將大型AIGC模型切割成“模塊化組件”的新方法,利用TD3算法實現(xiàn)實時組裝,旨在優(yōu)化計算需求的同時,確保服務質量不受影響。

該研究的重點在于,在邊緣計算的有限存儲空間、帶寬和計算資源條件下,如何減少用戶模型服務請求的響應時間與成本。這一創(chuàng)新框架被命名為EdgeAIGC,并于2025年7月4日在《Digital Communications and Networks》期刊上發(fā)表。

EdgeAIGC框架由云服務中心、邊緣服務層和用戶層構成。云服務中心配備高性能云服務器,存儲了多種預訓練的AIGC模型,如文本轉語音、文本轉換等,雖能滿足所有用戶推理服務請求,但成本和時間消耗較高。

為解決這一問題,研究者設計了包含云服務器(CS)和邊緣服務器(ES)的網(wǎng)絡架構,其中CS與ES的計算資源以A800 GPU數(shù)量表示??紤]到用戶關注的效率與成本,以及運營商的成本利潤,研究者致力于優(yōu)化所有請求服務的平均響應時間與成本。

為了實現(xiàn)這一目標,研究者引入了TD3算法。在資源分配中,帶寬、計算資源等均為連續(xù)變量,TD3算法擅長處理連續(xù)動作空間問題,并對高維狀態(tài)空間具有良好的適應性。通過學習最優(yōu)連續(xù)動作策略,TD3算法能夠確定最佳緩存決策和資源分配方案,同時引入延遲更新策略網(wǎng)絡機制,確保策略網(wǎng)絡更新穩(wěn)定。

在研究中,問題被形式化為馬爾可夫決策過程(MDP),包括狀態(tài)空間、動作空間和獎勵。TD3算法架構包含六個神經網(wǎng)絡,通過Actor和Critic網(wǎng)絡抑制Q值過估,延遲更新策略網(wǎng)絡防止震蕩。實驗表明,TD3算法對學習率的設置要求較高,但通過雙評論家網(wǎng)絡和延遲更新策略,顯著提高了學習效率和穩(wěn)定性,相比DDPG算法,在獎勵優(yōu)化方面提高了約1.72%。

隨著用戶數(shù)量的增加,模型命中率也隨之提升。在此過程中,TD3算法的模型命中率始終優(yōu)于其他基準算法,與DDPG、GCRAS、PCRAS相比,最大改善率分別為41.06%、50.93%、57.85%。

EdgeAIGC框架結合動態(tài)模型流行度,實現(xiàn)了邊緣服務器的模型緩存決策及帶寬和計算資源的協(xié)調分配。這一創(chuàng)新方法不僅提高了模型命中率,還為邊緣計算與AIGC的融合提供了新的思路,有望在未來推動相關技術的發(fā)展與應用。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新