近日，科技界迎來了一項新的突破，meta AI與加州大學(xué)伯克利分校攜手推出了一個名為SWEET-RL的強化學(xué)習(xí)框架，并配套發(fā)布了CollaborativeAgentBench（簡稱ColBench）基準(zhǔn)測試。這一合作旨在提升大語言模型（LLMs）在多輪人機協(xié)作任務(wù)中的性能，特別是在后端編程和前端設(shè)計兩大領(lǐng)域。

隨著大語言模型的發(fā)展，它們逐漸展現(xiàn)出執(zhí)行復(fù)雜任務(wù)的潛力，但在多輪決策任務(wù)中仍面臨諸多挑戰(zhàn)。傳統(tǒng)的訓(xùn)練方法主要依賴于單輪反饋或模仿高概率行為，這種方法在處理長期依賴和累積目標(biāo)時顯得力不從心，導(dǎo)致模型在協(xié)作場景中表現(xiàn)平平，特別是在理解人類意圖和多步驟推理方面。

SWEET-RL框架的推出，正是為了解決這一難題。它采用了非對稱的“演員-評論家”結(jié)構(gòu)，其中評論家在訓(xùn)練過程中能夠訪問額外信息（如正確答案），從而更準(zhǔn)確地評估演員的決策。這一創(chuàng)新不僅簡化了信用分配過程，還與LLMs的預(yù)訓(xùn)練架構(gòu)實現(xiàn)了更好的對齊。

實驗結(jié)果顯示，SWEET-RL在后端編程任務(wù)中的通過率顯著提升至48.0%，在前端設(shè)計任務(wù)中的余弦相似度也達到了76.9%，這一成績顯著優(yōu)于其他多輪強化學(xué)習(xí)方法。這一突破性的進展，無疑為LLMs在多輪人機協(xié)作任務(wù)中的應(yīng)用開辟了新的道路。

為了更全面地評估SWEET-RL的性能，meta AI和加州大學(xué)伯克利分校還推出了ColBench基準(zhǔn)測試。ColBench包含了超過10000個訓(xùn)練任務(wù)和1000個測試案例，這些任務(wù)設(shè)計均模擬了真實的人機協(xié)作場景，涵蓋了后端編程（如Python函數(shù)編寫）和前端設(shè)計（如HTML代碼生成）兩大領(lǐng)域。該基準(zhǔn)測試還限制了每輪交互的次數(shù)，最多不超過10次。

ColBench基準(zhǔn)測試通過單元測試通過率和余弦相似度兩個指標(biāo)來評估模型的性能，為多輪任務(wù)提供了可靠的評估標(biāo)準(zhǔn)。這一測試平臺的推出，不僅有助于研究人員更準(zhǔn)確地評估SWEET-RL的性能，也為未來LLMs在多輪人機協(xié)作任務(wù)中的發(fā)展提供了有力的支持。