NVIDIA近日宣布,其專為AI推理加速設計的TensorRT框架,現(xiàn)已擴展至GeForce RTX系列顯卡。這一舉措意味著RTX顯卡用戶將能夠體驗到前所未有的AI性能提升,相較于DirectML,性能表現(xiàn)直接翻倍。
TensorRT,作為NVIDIA推出的AI推理優(yōu)化解決方案,一直以來都在提升AI模型運行效率方面發(fā)揮著關(guān)鍵作用。此次TensorRT框架的引入,標志著RTX平臺在AI應用上的進一步強化,為所有RTX顯卡用戶解鎖了更高效的AI處理能力。
NVIDIA介紹稱,TensorRT不僅全面支持Windows ML,還具備智能選擇硬件和執(zhí)行提供程序的能力,從而自動優(yōu)化每個AI功能的運行。這一特性極大地簡化了開發(fā)流程,使得開發(fā)者能夠更專注于AI應用的創(chuàng)新和優(yōu)化。
在性能表現(xiàn)方面,TensorRT展現(xiàn)出了顯著的優(yōu)勢。NVIDIA提供的數(shù)據(jù)顯示,在ComfyUI應用中,使用TensorRT的用戶可以獲得高達兩倍的性能提升;而在DaVinci Resolve和Vegas Pro等專業(yè)軟件中,性能提升也達到了60%。這一顯著的性能提升,無疑將為用戶帶來更加流暢和高效的AI應用體驗。
TensorRT for RTX還帶來了其他諸多優(yōu)勢。例如,庫文件大小縮小了8倍,針對每個GPU的即時優(yōu)化等。這些改進不僅提升了性能,還進一步優(yōu)化了軟件的存儲和管理,為用戶提供了更加便捷和高效的使用體驗。
據(jù)NVIDIA透露,TensorRT for RTX將于6月正式推出。同時,NVIDIA還在不斷擴展其AI SDKs的生態(tài)系統(tǒng),目前為超過150個AI SDK提供支持。本月,NVIDIA還將推出5個新的ISV集成,包括LM Studio、Topaz Video AI、Bilibili、AutoDesk VRED和Chaos Enscape等,進一步豐富和完善其AI應用生態(tài)。