近日,2024年度上海市科學技術獎的獲獎名單正式揭曉,上海交通大學與螞蟻集團攜手合作的項目《復雜對抗場景下的網(wǎng)絡媒體內(nèi)容安全檢測關鍵技術與應用》榮獲科技進步獎一等獎。這一殊榮標志著該項目在內(nèi)容安全檢測領域取得了國際先進水平,特別是AIGC檢測等技術更是達到了國際領先。
在此次獎項的核心技術評審中,以中國工程院院士王耀南領銜的專家委員會給予了高度評價。他們認為,該技術整體表現(xiàn)卓越,尤其在復雜對抗場景下,展現(xiàn)出了強大的檢測能力和創(chuàng)新性。
在頒獎現(xiàn)場,上海交通大學與螞蟻集團的代表,蔣興浩與王維強,共同見證了這一榮耀時刻。隨著生成式人工智能和大模型的快速發(fā)展,雖然內(nèi)容生成技術日益智能化,但也帶來了諸多挑戰(zhàn),如價值觀偏離、意識形態(tài)沖突以及道德規(guī)范問題等。這些問題對互聯(lián)網(wǎng)信息的健康傳播和網(wǎng)絡有害信息的治理構(gòu)成了嚴峻挑戰(zhàn)。
面對這一挑戰(zhàn),上海交通大學與螞蟻集團等團隊共同研發(fā)了一系列關鍵技術,旨在應對大模型時代復雜對抗場景下的內(nèi)容安全治理難題。這些技術包括多模理解、AI鑒真、異常推理和多模文檔解析等,為內(nèi)容安全治理提供了新的模式和思路。
上海交通大學副校長蔣興浩表示,項目組的多家單位研發(fā)團隊緊密合作,共同探索如何保護人工智能時代的信息內(nèi)容安全。他們不僅解答了這一難題,還積極引領了生成式人工智能時代的內(nèi)容安全治理新模式。
該項目在技術創(chuàng)新方面取得了顯著成果,解決了傳統(tǒng)檢測模型泛化難題、異常樣本采集挑戰(zhàn)、隱晦內(nèi)容檢測以及多變博弈攻擊等核心問題。具體而言,他們提出了基于思維鏈的多模態(tài)大模型幻覺緩解技術,研發(fā)了可控多模態(tài)數(shù)據(jù)智能生成方法,研制了網(wǎng)絡媒體內(nèi)容安全監(jiān)測一體化解決方案,并提出了基于對抗與溯源的模型安全防護技術。
這些技術創(chuàng)新不僅顯著提升了內(nèi)容安全領域復雜攻擊下的防控效果和效率,還為互聯(lián)網(wǎng)上有害信息的治理帶來了突破性進展。同時,這些技術也為AI技術在更廣泛領域的應用提供了強有力的支撐。
據(jù)了解,該項目已經(jīng)獲得了41項發(fā)明專利、1項國標和1項地標、10項軟件著作權(quán)以及118篇論文的發(fā)表。該項目已經(jīng)應用于多個平臺的內(nèi)容安全業(yè)務防控中,取得了顯著的成效。其中,AIGC安全檢測等技術已經(jīng)服務于支付寶的內(nèi)容相關業(yè)務,實現(xiàn)了對不良內(nèi)容的高效識別與攔截,確保了平臺內(nèi)容的健康與安全。
螞蟻安全實驗室首席科學家王維強表示,在國家網(wǎng)絡安全戰(zhàn)略的指引下,螞蟻集團通過產(chǎn)學研合作,研發(fā)了包括隱晦推理、AIGC識別等核心技術,構(gòu)建了互聯(lián)網(wǎng)信息安全智能治理體系。這一體系不僅為海量創(chuàng)作者提供了安全可信的創(chuàng)作環(huán)境,還通過持續(xù)迭代的模型能力,筑牢了風險屏障。未來,螞蟻集團將繼續(xù)投入安全科技,深耕可信AI技術研發(fā),推動網(wǎng)絡安全智能化進程。