騰訊技術(shù)團(tuán)隊(duì)近期對(duì)DeepSeek開(kāi)源項(xiàng)目中的DeepEP通信框架進(jìn)行了深度優(yōu)化，這一舉措顯著提升了該框架在各種網(wǎng)絡(luò)環(huán)境下的性能表現(xiàn)。經(jīng)過(guò)一系列精心設(shè)計(jì)的測(cè)試，結(jié)果顯示，優(yōu)化后的DeepEP在RoCE網(wǎng)絡(luò)環(huán)境下性能實(shí)現(xiàn)了翻倍，而在IB（InfiniBand）網(wǎng)絡(luò)環(huán)境下也提升了30%。這一成果無(wú)疑為企業(yè)的AI大模型訓(xùn)練提供了更為高效的解決方案。

DeepEP是一個(gè)專為專家混合（MoE）和專家并行（EP）設(shè)計(jì)的通信庫(kù)，其特點(diǎn)在于能夠提供高吞吐量和低延遲的全對(duì)全GPU內(nèi)核，這些內(nèi)核在MoE的派發(fā)和組合過(guò)程中發(fā)揮著關(guān)鍵作用。該庫(kù)還支持低精度運(yùn)算，包括FP8，從而進(jìn)一步提升了計(jì)算效率。

騰訊星脈網(wǎng)絡(luò)團(tuán)隊(duì)在DeepEP開(kāi)源后迅速展開(kāi)了技術(shù)攻關(guān)，針對(duì)框架在實(shí)際應(yīng)用中遇到的兩大瓶頸問(wèn)題進(jìn)行了深入研究。一是雙端口網(wǎng)卡帶寬利用率不足的問(wèn)題，二是CPU控制面交互存在的時(shí)延問(wèn)題。通過(guò)騰訊技術(shù)團(tuán)隊(duì)的優(yōu)化，這兩個(gè)關(guān)鍵問(wèn)題得到了有效解決。

優(yōu)化后的DeepEP在RoCE網(wǎng)絡(luò)環(huán)境下實(shí)現(xiàn)了性能的顯著提升，性能翻倍的表現(xiàn)令人矚目。同時(shí)，在IB網(wǎng)絡(luò)環(huán)境下，優(yōu)化后的框架也展現(xiàn)出了更加出色的通信效率，相較于優(yōu)化前提升了30%。這一成果不僅得到了DeepSeek項(xiàng)目的公開(kāi)致謝，還被贊譽(yù)為一次“巨大的加速”代碼貢獻(xiàn)。

騰訊已經(jīng)將這一優(yōu)化后的技術(shù)全面開(kāi)源，并成功應(yīng)用于其混元大模型等項(xiàng)目的訓(xùn)練推理過(guò)程中。在騰訊星脈與H20服務(wù)器構(gòu)建的環(huán)境中，該方案展現(xiàn)出了出色的通用性和穩(wěn)定性，為企業(yè)AI大模型訓(xùn)練提供了強(qiáng)有力的技術(shù)支持。