近期，科技界傳來(lái)一則令人矚目的合作消息。據(jù)科技媒體報(bào)道，蘋果公司攜手復(fù)旦大學(xué)，共同推出了名為StreamBridge的端側(cè)視頻大語(yǔ)言模型（Video-LLMs）框架，該框架專注于提升AI對(duì)直播流視頻的理解能力。

在探討直播流視頻理解的需求與挑戰(zhàn)時(shí)，我們不得不提及傳統(tǒng)視頻大語(yǔ)言模型的局限性。盡管它們?cè)谔幚盱o態(tài)視頻方面表現(xiàn)出色，但在諸如機(jī)器人技術(shù)和自動(dòng)駕駛等需要實(shí)時(shí)感知的領(lǐng)域，卻顯得力不從心。這些場(chǎng)景要求模型能夠迅速理解直播視頻流的內(nèi)容，并據(jù)此作出反應(yīng)。

當(dāng)前，模型面臨的主要難題包括多輪實(shí)時(shí)理解和主動(dòng)響應(yīng)。多輪實(shí)時(shí)理解意味著模型在處理最新視頻片段時(shí)，需要保留歷史視覺(jué)和對(duì)話上下文，而主動(dòng)響應(yīng)則要求模型能夠像人類一樣主動(dòng)監(jiān)控視頻流，并在沒(méi)有明確指令的情況下及時(shí)輸出反饋。

為了攻克這些難題，蘋果公司與復(fù)旦大學(xué)的研究團(tuán)隊(duì)共同開發(fā)了StreamBridge框架。該框架通過(guò)創(chuàng)新的內(nèi)存緩沖區(qū)和輪次衰減壓縮策略，實(shí)現(xiàn)了長(zhǎng)上下文交互的支持。這一特性使得模型能夠更有效地處理連續(xù)的視頻流信息。

StreamBridge框架還引入了一個(gè)輕量化的獨(dú)立激活模型，該模型能夠無(wú)縫集成到現(xiàn)有的視頻大語(yǔ)言模型中，從而賦予模型主動(dòng)響應(yīng)的能力。研究團(tuán)隊(duì)還精心打造了一個(gè)名為Stream-IT的數(shù)據(jù)集，該數(shù)據(jù)集包含約60萬(wàn)個(gè)樣本，融合了視頻與文本序列，并支持多樣化的指令格式。Stream-IT數(shù)據(jù)集的推出，旨在進(jìn)一步提升流式視頻的理解能力。

為了驗(yàn)證StreamBridge框架的有效性，研究團(tuán)隊(duì)在主流離線模型上進(jìn)行了測(cè)試，包括LLaVA-OV-7B、Qwen2-VL-7B和Oryx-1.5-7B等。測(cè)試結(jié)果顯示，Qwen2-VL在OVO-Bench和Streaming-Bench上的平均分分別提升至71.30和77.04，這一成績(jī)甚至超越了GPT-4o和Gemini 1.5 Pro等專有模型。Oryx-1.5也取得了顯著的進(jìn)步，而LLaVA-OV的性能雖然略有下降，但經(jīng)過(guò)Stream-IT數(shù)據(jù)集的微調(diào)后，所有模型的表現(xiàn)都得到了進(jìn)一步的提升。