科技巨頭英偉達(dá)近日公布了旗下Blackwell GPU在MLPerf v4.1 AI訓(xùn)練工作負(fù)載中的卓越性能。據(jù)WccfTech報(bào)道,這款新型GPU在訓(xùn)練Llama 2 70B模型時(shí),展現(xiàn)出比前代Hopper GPU快2.2倍的速度。
英偉達(dá)此次公布的測(cè)試成績(jī),涵蓋了多個(gè)重要的AI訓(xùn)練模型,包括用于自然語(yǔ)言處理的BERT和GPT-3 175B,以及用于圖像生成的Stable Diffusion等。這些基準(zhǔn)測(cè)試為評(píng)估AI加速器的性能提供了有力支持。
Hopper GPU自推出以來(lái),經(jīng)過(guò)不斷優(yōu)化,其性能已得到顯著提升。在LLM預(yù)訓(xùn)練任務(wù)中,H100 GPU的性能比初次時(shí)測(cè)試提升了1.3倍,并在GPT-3 175B訓(xùn)練中實(shí)現(xiàn)了高達(dá)70%的性能增長(zhǎng)。
然而,Blackwell GPU的亮相無(wú)疑將AI計(jì)算的性能推向了新的高度。該GPU旨在提高計(jì)算吞吐量,并配備了更大、更快的高帶寬內(nèi)存。這使得Blackwell能夠在保持高性能的同時(shí),以更少的GPU數(shù)量完成GPT-3 175B等基準(zhǔn)測(cè)試。
測(cè)試結(jié)果顯示,僅需64張Blackwell GPU,便可達(dá)到256張Hopper GPU的測(cè)試性能,這一成就無(wú)疑彰顯了英偉達(dá)在AI計(jì)算領(lǐng)域的領(lǐng)先地位。
隨著AI技術(shù)的飛速發(fā)展,計(jì)算需求呈指數(shù)級(jí)增長(zhǎng)。英偉達(dá)通過(guò)持續(xù)創(chuàng)新和優(yōu)化,不斷推動(dòng)AI訓(xùn)練和推理能力的提升,為各行各業(yè)帶來(lái)更強(qiáng)大的智能支持。