近期，谷歌DeepMind團隊推出了一項名為“可微緩存增強”的創(chuàng)新技術，這項技術旨在提升大型語言模型（LLMs）的推理性能，而無需大幅增加計算成本。

在語言和推理領域，大型語言模型發(fā)揮著越來越重要的作用。它們能夠處理復雜問題，生成準確的上下文相關響應。然而，隨著這些模型的復雜性增加，如何在有限的計算資源下保持高性能成為了一個挑戰(zhàn)。特別是，許多LLMs在跨任務推理或執(zhí)行超出預訓練范圍的計算時表現(xiàn)不佳。

現(xiàn)有的提升模型性能的方法通常涉及在任務處理過程中生成中間步驟，但這種方法會增加延遲并降低計算效率。這限制了LLMs執(zhí)行復雜推理任務的能力，尤其是那些需要長依賴關系或高預測準確性的任務。為了解決這個問題，DeepMind團隊開發(fā)了一種新方法。

“可微緩存增強”通過引入一個訓練過的協(xié)處理器來增強LLM的鍵值（kv）緩存。這個協(xié)處理器使用潛在嵌入來豐富模型的內部記憶。關鍵在于，基礎LLM保持凍結狀態(tài)，而協(xié)處理器則異步運行。這種方法不僅保持了模型的穩(wěn)定性，還提高了性能。

整個工作流程分為三個階段。首先，凍結的LLM從輸入序列生成kv緩存。然后，協(xié)處理器使用可訓練的軟令牌處理這個緩存，并生成潛在嵌入。最后，增強的kv緩存被反饋回LLM，以生成更豐富、更準確的輸出。

DeepMind團隊在Gemma-2 2B模型上測試了這項技術，并獲得了顯著成果。例如，在GSM8K數(shù)據集上，準確率提高了10.05%；在MMLU基準測試上，性能提升了4.70%。該技術還降低了模型在多個標記位置的困惑度，進一步證明了其有效性。

這項研究為增強LLMs的推理能力提供了新的視角。通過引入外部協(xié)處理器來增強kv緩存，DeepMind團隊在保持計算效率的同時，顯著提高了模型性能。這為LLMs處理更復雜、更具挑戰(zhàn)性的任務提供了可能，也為未來的研究和應用開辟了新的道路。