亚洲精品国产a久久久久久,亚洲 激情 ,欧美精品,亚洲av日韩综合一区在线观看,亚洲精品不卡av在线播放,无码国产69精品久久久久同性

資訊在沃

NVIDIA Blackwell平臺(tái)破MLPerf記錄:Llama模型吞吐量狂增30倍!

   發(fā)布時(shí)間:2025-04-03 12:19 作者:沈瑾瑜

NVIDIA在最新一輪MLPerf V5.0基準(zhǔn)測試中,憑借Blackwell平臺(tái)大放異彩,展現(xiàn)了其在人工智能領(lǐng)域的卓越實(shí)力。

MLPerf,這一由圖靈獎(jiǎng)得主大衛(wèi)·帕特森攜手谷歌、斯坦福及哈佛大學(xué)等重量級機(jī)構(gòu)共同創(chuàng)立的性能基準(zhǔn)測試平臺(tái),無疑是國際AI領(lǐng)域的權(quán)威風(fēng)向標(biāo)。它旨在通過標(biāo)準(zhǔn)化測試,全面衡量人工智能硬件、軟件及服務(wù)的性能表現(xiàn)。

值得注意的是,此次MLPerf更新引入了Llama 3.1 405B,這一龐大且復(fù)雜的開放權(quán)重模型,無疑為測試增添了極大的挑戰(zhàn)。然而,NVIDIA及其合作伙伴卻迎難而上,成功提交了Llama 3.1 405B基準(zhǔn)測試的結(jié)果,成為業(yè)界焦點(diǎn)。

在Llama 3.1 405B基準(zhǔn)測試中,NVIDIA的GB200 NVL72系統(tǒng)通過72個(gè)Blackwell GPU的緊密協(xié)作,實(shí)現(xiàn)了驚人的性能提升。與H200 NVL8相比,其吞吐量竟高達(dá)30倍之多,這一成績無疑彰顯了NVIDIA在GPU技術(shù)上的深厚積累。

除了吞吐量的大幅提升,NVIDIA在推理部署的關(guān)鍵指標(biāo)上也取得了顯著進(jìn)步。首次響應(yīng)時(shí)間(TTFT)和每個(gè)輸出令牌的時(shí)間(TPOT)是衡量用戶體驗(yàn)的重要指標(biāo)。在新的Llama 2 70B Interactive基準(zhǔn)測試中,NVIDIA利用8個(gè)Blackwell GPU的DGX B200系統(tǒng),將TPOT縮短了5倍,TTFT降低了4.4倍,為用戶帶來了更為流暢的體驗(yàn)。

在這一更具挑戰(zhàn)性的基準(zhǔn)測試中,NVIDIA的表現(xiàn)同樣出類拔萃。與使用8個(gè)H200 GPU的系統(tǒng)相比,DGX B200系統(tǒng)的性能高出三倍之多,為Llama 2 70B基準(zhǔn)測試樹立了新的標(biāo)桿。

NVIDIA的這一系列成就,不僅展示了其在人工智能領(lǐng)域的領(lǐng)先地位,更為行業(yè)樹立了新的性能標(biāo)準(zhǔn)。隨著人工智能技術(shù)的不斷發(fā)展,NVIDIA將繼續(xù)以技術(shù)創(chuàng)新為驅(qū)動(dòng),推動(dòng)AI性能的持續(xù)提升。

可以預(yù)見,NVIDIA的Blackwell平臺(tái)將在未來的人工智能應(yīng)用中發(fā)揮更加重要的作用,為各行各業(yè)帶來更加智能、高效的解決方案。

此次MLPerf V5.0基準(zhǔn)測試的結(jié)果,無疑為NVIDIA在人工智能領(lǐng)域的實(shí)力提供了有力的證明。

隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展,NVIDIA將繼續(xù)引領(lǐng)人工智能技術(shù)的發(fā)展潮流,為人類社會(huì)創(chuàng)造更加美好的未來。

 
 
更多>同類內(nèi)容
全站最新
熱門內(nèi)容
本欄最新