近期，一項(xiàng)關(guān)于合成數(shù)據(jù)在大型模型訓(xùn)練中應(yīng)用的新研究成果引起了業(yè)界的廣泛關(guān)注。這項(xiàng)研究由谷歌、卡內(nèi)基梅隆大學(xué)和MultiOn的聯(lián)合研究團(tuán)隊(duì)共同完成。

據(jù)Epoch AI的研究報(bào)告顯示，盡管全球范圍內(nèi)已有約300萬億個(gè)高質(zhì)量的文本訓(xùn)練標(biāo)記可供使用，但隨著ChatGPT等大模型的快速發(fā)展，對訓(xùn)練數(shù)據(jù)的需求正呈爆炸式增長。預(yù)測顯示，到2026年，現(xiàn)有的高質(zhì)量訓(xùn)練數(shù)據(jù)或?qū)o法滿足需求。因此，探索合成數(shù)據(jù)作為替代方案顯得尤為重要。

在此次研究中，研究人員主要聚焦于兩種類型的合成數(shù)據(jù)：正向數(shù)據(jù)和負(fù)向數(shù)據(jù)。正向數(shù)據(jù)由高性能大模型（例如GPT-4和Gemini 1.5 Pro）生成，提供正確的數(shù)學(xué)問題解決方案，為模型提供學(xué)習(xí)范例。然而，單純依賴正向數(shù)據(jù)存在局限性，可能導(dǎo)致模型僅通過模式匹配學(xué)習(xí)，缺乏真正的理解能力，且在處理新問題時(shí)泛化能力下降。

為了克服這些挑戰(zhàn)，研究人員引入了負(fù)向數(shù)據(jù)，即經(jīng)過驗(yàn)證的錯(cuò)誤問題解決步驟。負(fù)向數(shù)據(jù)的加入有助于模型識(shí)別并避免錯(cuò)誤，從而提升其邏輯推理能力。盡管使用負(fù)向數(shù)據(jù)面臨諸多困難，如錯(cuò)誤步驟可能包含誤導(dǎo)性信息，但研究團(tuán)隊(duì)通過直接偏好優(yōu)化（DPO）方法成功使模型能夠從錯(cuò)誤中學(xué)習(xí)。

DPO方法為每個(gè)問題解決步驟分配一個(gè)優(yōu)勢值，反映其相對于理想解決方案的價(jià)值。研究表明，高優(yōu)勢步驟是正確解決方案的關(guān)鍵，而低優(yōu)勢步驟則可能揭示模型推理中的問題。借助這些優(yōu)勢值，模型能夠在強(qiáng)化學(xué)習(xí)框架內(nèi)動(dòng)態(tài)調(diào)整策略，更高效地從合成數(shù)據(jù)中學(xué)習(xí)和改進(jìn)。

為了驗(yàn)證合成數(shù)據(jù)的有效性，研究團(tuán)隊(duì)選擇了DeepSeek-Math-7B和LLaMa2-7B等模型，在GSM8K和MATH數(shù)據(jù)集上進(jìn)行了全面測試。測試結(jié)果顯示，經(jīng)過正向和負(fù)向合成數(shù)據(jù)預(yù)訓(xùn)練的大模型在數(shù)學(xué)推理任務(wù)上的性能實(shí)現(xiàn)了顯著提升，甚至達(dá)到了八倍的增長。這一研究成果充分展示了合成數(shù)據(jù)在增強(qiáng)大模型邏輯推理能力方面的巨大潛力和實(shí)際應(yīng)用價(jià)值。