英偉達(dá)近期在人工智能領(lǐng)域取得了新突破，推出了一款名為Describe Anything 3B（簡稱DAM-3B）的先進(jìn)AI模型，專門用于解決圖像和視頻中特定區(qū)域的詳細(xì)描述難題。

傳統(tǒng)的視覺-語言模型在描述整體圖像時表現(xiàn)尚可，但一旦涉及到對圖像中某個特定區(qū)域的細(xì)致描述，尤其是視頻中的動態(tài)場景，其能力就顯得捉襟見肘。英偉達(dá)此次推出的DAM-3B模型，正是為了解決這一技術(shù)瓶頸。

DAM-3B模型允許用戶通過點(diǎn)選、邊界框、涂鴉或掩碼等方式，精準(zhǔn)指定想要描述的目標(biāo)區(qū)域，隨后模型會生成與上下文高度契合的精確描述文本。英偉達(dá)還推出了DAM-3B-Video版本，專門用于處理動態(tài)視頻內(nèi)容。

這款模型的核心創(chuàng)新之處在于其獨(dú)特的“焦點(diǎn)提示”技術(shù)和“局部視覺骨干網(wǎng)絡(luò)”。焦點(diǎn)提示技術(shù)結(jié)合了全局圖像信息與目標(biāo)區(qū)域的高分辨率細(xì)節(jié)，確保在保留整體背景的同時，不丟失任何關(guān)鍵細(xì)節(jié)。而局部視覺骨干網(wǎng)絡(luò)則通過嵌入圖像和掩碼輸入，運(yùn)用先進(jìn)的門控交叉注意力機(jī)制，將全局特征和局部特征巧妙融合，最終傳輸至大語言模型生成描述。

為了應(yīng)對訓(xùn)練數(shù)據(jù)稀缺的挑戰(zhàn)，英偉達(dá)開發(fā)了一套名為DLC-SDP的半監(jiān)督數(shù)據(jù)生成策略。該策略利用分割數(shù)據(jù)集和未標(biāo)注的網(wǎng)絡(luò)圖像，成功構(gòu)建了包含150萬局部描述樣本的訓(xùn)練語料庫。英偉達(dá)還通過自訓(xùn)練方法不斷優(yōu)化描述質(zhì)量，確保輸出文本的高精準(zhǔn)度。

在評估方面，英偉達(dá)推出了DLC-Bench評估基準(zhǔn)，該基準(zhǔn)以屬性級正確性來衡量描述質(zhì)量，而非簡單地與參考文本進(jìn)行對比。這一創(chuàng)新評估方法使得DAM-3B模型在包括LVIS、Flickr30k Entities等在內(nèi)的七項(xiàng)基準(zhǔn)測試中脫穎而出，平均準(zhǔn)確率高達(dá)67.3%，超越了GPT-4o和VideoRefer等競爭對手。

DAM-3B模型的推出，不僅填補(bǔ)了局部描述領(lǐng)域的技術(shù)空白，其上下文感知架構(gòu)和高質(zhì)量數(shù)據(jù)策略還為無障礙工具、機(jī)器人技術(shù)及視頻內(nèi)容分析等領(lǐng)域帶來了全新的可能性。

英偉達(dá)此次的技術(shù)創(chuàng)新，無疑將推動人工智能技術(shù)在圖像和視頻描述領(lǐng)域的進(jìn)一步發(fā)展，為相關(guān)行業(yè)帶來深遠(yuǎn)的影響。