英偉達近期震撼發(fā)布了Eagle 2.5視覺-語言模型，該模型專為大規(guī)模視頻與圖像的處理而設(shè)計，展現(xiàn)了卓越的多模態(tài)學(xué)習(xí)能力。在復(fù)雜的視覺與語言融合任務(wù)中，Eagle 2.5憑借其出色的性能，成為了業(yè)界的焦點。

Eagle 2.5不僅擅長解析高分辨率圖像，更在處理長視頻序列時游刃有余。盡管其參數(shù)規(guī)模僅為80億，但在Video-MME基準(zhǔn)測試中，Eagle 2.5以72.4%的高分脫穎而出，這一成績令人矚目，甚至與參數(shù)量遠超其上的Qwen2.5-VL-720億和InternVL2.5-780億等模型相媲美。

Eagle 2.5的成功背后，兩大創(chuàng)新訓(xùn)練策略功不可沒：信息優(yōu)先采樣與漸進式后訓(xùn)練。信息優(yōu)先采樣策略通過兩項獨特技術(shù)，進一步優(yōu)化了模型的訓(xùn)練過程。

首先，圖像區(qū)域保留（IAP）技術(shù)確保了超過60%的原始圖像區(qū)域得以保留，有效避免了寬高比失真，從而保證了圖像的完整性和真實性。其次，自動降級采樣（ADS）技術(shù)根據(jù)上下文長度，智能地平衡視覺與文本輸入，既保證了文本的完整性，又優(yōu)化了視覺細(xì)節(jié)的呈現(xiàn)，使得模型在處理復(fù)雜場景時更加游刃有余。

而漸進式后訓(xùn)練策略，則是通過逐步擴展模型的上下文窗口，從32K到128K token，使模型能夠靈活應(yīng)對不同長度的輸入。這一策略不僅增強了模型的泛化能力，還避免了模型對單一上下文范圍的過擬合，確保了模型在各種情況下的穩(wěn)定性能。

為了訓(xùn)練Eagle 2.5，英偉達整合了豐富的開源資源與定制數(shù)據(jù)集Eagle-Video-110K。該數(shù)據(jù)集專為理解長視頻而設(shè)計，采用了獨特的雙重標(biāo)注方式。自上而下的方法，通過故事級分割，結(jié)合人類標(biāo)注的章節(jié)元數(shù)據(jù)和GPT-4生成的密集描述，為模型提供了宏觀的敘事結(jié)構(gòu)。而自下而上的方法，則利用GPT-4為短片段生成問答對，捕捉時空細(xì)節(jié)，為模型提供了微觀的信息補充。

數(shù)據(jù)集還通過余弦相似度篩選，確保了數(shù)據(jù)的多樣性和非冗余性。這一舉措不僅提升了數(shù)據(jù)的敘事連貫性和細(xì)粒度標(biāo)注質(zhì)量，還顯著增強了模型在高幀數(shù)（128幀）任務(wù)中的表現(xiàn)。Eagle 2.5在處理長視頻和復(fù)雜圖像時展現(xiàn)出的卓越能力，正是得益于這一精心設(shè)計的訓(xùn)練數(shù)據(jù)管道。