在科技界的萬眾矚目下，DeepSeek開源周的精彩繼續(xù)上演，此次推出的高性能矩陣計(jì)算庫DeepGEMM，無疑成為了眾人矚目的焦點(diǎn)。這款被譽(yù)為“AI數(shù)學(xué)加速器”的開源工具，旨在為大模型訓(xùn)練和推理提供前所未有的速度提升。

DeepGEMM在Hopper架構(gòu)的GPU上實(shí)現(xiàn)了驚人的FP8精度下1350+ TFLOPS的算力表現(xiàn)。這一數(shù)字遠(yuǎn)超當(dāng)前市面上的主流顯卡，如RTX 4090的400-500 TFLOPS，展現(xiàn)了其卓越的性能優(yōu)勢。FP8精度，即8位浮點(diǎn)數(shù)格式，通過犧牲微小的精度換取了3倍以上的速度提升，這一策略在AI場景中尤為適用，因?yàn)锳I應(yīng)用通常對誤差具有一定的容忍性。

更令人驚嘆的是，DeepGEMM的核心邏輯僅用300行代碼實(shí)現(xiàn)，卻通過全流程JIT編譯優(yōu)化，達(dá)到了比手工調(diào)優(yōu)算子更高的效能。這一極簡代碼哲學(xué)，不僅摒棄了冗余設(shè)計(jì)，還專注于底層優(yōu)化，重新定義了高性能計(jì)算的邊界。開發(fā)者可以輕松地將DeepGEMM集成到現(xiàn)有框架中，無需額外的依賴項(xiàng)。

DeepGEMM還支持雙模式，即稠密矩陣布局和混合MoE布局，以適應(yīng)不同模型的需求。稠密矩陣布局適用于全量數(shù)據(jù)的統(tǒng)一計(jì)算，而混合MoE布局則能夠分任務(wù)處理，提高了計(jì)算的靈活性。

在FP8精度下，DeepGEMM還展現(xiàn)出了“省電模式”的優(yōu)勢。低精度計(jì)算大幅降低了顯存占用和功耗，使得萬億參數(shù)的大模型在24G顯存的單卡上也能實(shí)現(xiàn)28倍的推理加速。這一特性在KTransformers項(xiàng)目中得到了驗(yàn)證。

DeepGEMM在MoE模型上進(jìn)行了殺手級優(yōu)化。通過連續(xù)/掩碼雙布局，解決了專家模型計(jì)算中的通信瓶頸，使得萬億參數(shù)的MoE推理速度如閃電般迅速。這一優(yōu)化不僅提升了性能，還進(jìn)一步降低了計(jì)算成本。

DeepGEMM的開源，預(yù)示著DeepSeek在算力領(lǐng)域的又一次重大突破。據(jù)悉，DeepSeek正在加速推出其R1模型的升級版——DeepSeek R2，預(yù)計(jì)將在5月發(fā)布。這一升級版將借助DeepGEMM的強(qiáng)大算力，進(jìn)一步提升模型訓(xùn)練和推理的速度。

與此同時(shí)，DeepSeek也重新開放了API充值入口。此前，由于資源緊張，該入口一度關(guān)閉。目前，deepseek-chat模型的優(yōu)惠期已經(jīng)結(jié)束，調(diào)用價(jià)格已調(diào)整為每百萬輸入tokens 2元，每百萬輸出tokens 8元。這一調(diào)整旨在更好地滿足用戶的需求，同時(shí)也為DeepSeek的持續(xù)發(fā)展提供了資金支持。