近日，清華大學(xué)的一支科研團(tuán)隊(duì)在人工智能領(lǐng)域取得了突破性進(jìn)展，成功解決了大模型推理的算力瓶頸問(wèn)題，這一成就無(wú)疑給英偉達(dá)等傳統(tǒng)高性能計(jì)算解決方案提供商帶來(lái)了不小的沖擊。

據(jù)相關(guān)媒體報(bào)道，清華大學(xué)的KVCache.AI團(tuán)隊(duì)攜手趨境科技，對(duì)其開(kāi)源項(xiàng)目KTransformers進(jìn)行了重大更新。此次更新標(biāo)志著在24G顯存的硬件設(shè)備（例如RTX 4090D）上，也能流暢運(yùn)行DeepSeek-R1和V3的671B滿(mǎn)血版模型，這無(wú)疑是一次具有里程碑意義的突破。

KTransformers項(xiàng)目的核心在于其創(chuàng)新的異構(gòu)計(jì)算策略。團(tuán)隊(duì)巧妙地利用了稀疏性，即在混合專(zhuān)家（MoE）架構(gòu)中，每次僅激活部分專(zhuān)家模塊，而非全部。他們將這些非共享的稀疏矩陣卸載到CPU內(nèi)存中，并結(jié)合高速算子進(jìn)行處理，從而成功將顯存占用壓縮至24GB以?xún)?nèi)。

團(tuán)隊(duì)還采用了4bit量化技術(shù)和Marlin GPU算子，這一優(yōu)化使得計(jì)算效率提升了3.87倍。在CPU端，他們通過(guò)llamafile實(shí)現(xiàn)了多線程并行，預(yù)處理速度高達(dá)每秒286個(gè)詞元。這些技術(shù)上的創(chuàng)新，共同推動(dòng)了KTransformers項(xiàng)目的性能飛躍。

不僅如此，團(tuán)隊(duì)還引入了CUDA Graph加速技術(shù)，這一技術(shù)顯著減少了CPU與GPU之間的通信開(kāi)銷(xiāo)?，F(xiàn)在，單次解碼僅需一次完整的CUDA Graph調(diào)用，生成速度達(dá)到了每秒14個(gè)詞元。這些優(yōu)化措施，使得大模型推理變得更加高效和便捷。

這一突破帶來(lái)的后果是顯而易見(jiàn)的。在過(guò)去，運(yùn)行如此大規(guī)模的語(yǔ)言模型需要依賴(lài)昂貴的8卡A100服務(wù)器，其成本超過(guò)百萬(wàn)，且按需計(jì)費(fèi)每小時(shí)可達(dá)數(shù)千元。而現(xiàn)在，只需一張RTX 4090顯卡，整機(jī)成本約為2萬(wàn)元，功耗僅為80W，這使得中小團(tuán)隊(duì)和個(gè)人開(kāi)發(fā)者也能輕松承擔(dān)和運(yùn)行這些大規(guī)模模型。

NVIDIA RTX 4090成功運(yùn)行DeepSeek-R1滿(mǎn)血版的案例，不僅彰顯了清華大學(xué)團(tuán)隊(duì)的技術(shù)實(shí)力和創(chuàng)新精神，更是開(kāi)源精神與硬件潛能完美結(jié)合的典范。這一成就證明，在人工智能飛速發(fā)展的今天，創(chuàng)新往往源自于對(duì)“不可能”的勇敢挑戰(zhàn)。

這一突破無(wú)疑將推動(dòng)人工智能技術(shù)的進(jìn)一步發(fā)展，使得更多有志于AI研究的團(tuán)隊(duì)和個(gè)人能夠參與到這一前沿領(lǐng)域的探索中來(lái)。我們期待著未來(lái)在清華團(tuán)隊(duì)的引領(lǐng)下，人工智能領(lǐng)域能夠涌現(xiàn)出更多令人矚目的創(chuàng)新成果。