蘋果公司近期宣布與英偉達攜手合作，共同推出了一項名為Recurrent Drafter（簡稱ReDrafter）的創(chuàng)新技術，這項技術旨在顯著提升人工智能大語言模型（LLM）的推理速度。這一消息是在12月18日通過蘋果公司的官方博文發(fā)布的。

據(jù)悉，ReDrafter技術已經(jīng)成功融入英偉達的TensorRT-LLM推理加速框架中。這一整合使得在英偉達GPU上運行的LLM模型，每秒生成的tokens數(shù)量最高可提升2.7倍。這一顯著的性能提升，不僅有效減少了用戶在使用過程中的延遲感受，還大幅度降低了計算成本。

蘋果公司的機器學習專家強調(diào)，隨著LLM在生產(chǎn)應用程序中的廣泛應用，提高推理效率已經(jīng)成為降低計算成本和減少用戶延遲的關鍵因素。ReDrafter技術的推出，正是對這一需求的積極響應。

ReDrafter的核心在于其獨特的RNN草稿模型，該模型結(jié)合了波束搜索（beam search）和動態(tài)樹注意力（dynamic tree attention）技術。這一創(chuàng)新設計使得開源模型在每一步生成過程中最多可以產(chǎn)生3.5個tokens，從而超越了以往推測性解碼技術的性能表現(xiàn)。

為了將ReDrafter技術應用于實際生產(chǎn)環(huán)境，蘋果公司與英偉達展開了深度合作。雙方共同努力，將ReDrafter成功集成到英偉達的TensorRT-LLM框架中。這一合作不僅展現(xiàn)了蘋果與英偉達在技術創(chuàng)新方面的深厚實力，也體現(xiàn)了雙方在推動AI技術發(fā)展方面的共同愿景。

為了支持ReDrafter技術的集成，英偉達對其TensorRT-LLM框架進行了多項優(yōu)化。這包括添加新的運算符以及公開現(xiàn)有運算符，以增強框架對復雜模型和解碼方法的適應能力。這些優(yōu)化措施為ReDrafter技術的順利應用提供了有力保障。

基準測試結(jié)果顯示，在使用集成了ReDrafter的TensorRT-LLM框架的英偉達GPU上，數(shù)百億參數(shù)規(guī)模的生產(chǎn)模型的解碼速度得到了顯著提升，最高可達2.7倍。這一成果不僅顯著降低了用戶體驗延遲，還減少了GPU的使用數(shù)量和功耗，從而進一步降低了運營成本。

這一合作成果的發(fā)布，標志著蘋果與英偉達在AI技術領域的合作邁出了重要一步。未來，雙方將繼續(xù)攜手共進，共同推動AI技術的創(chuàng)新與發(fā)展，為更多用戶提供更加高效、智能的服務。