智能識別技術：如何管住與用好互聯(lián)網(wǎng)大數(shù)據(jù)？

智能識別技術互聯(lián)網(wǎng) 大數(shù)據(jù)

砍柴網(wǎng) | 2017-10-11 12:05

【數(shù)據(jù)猿導讀】互聯(lián)網(wǎng)發(fā)展之初受到網(wǎng)絡帶寬、數(shù)據(jù)存儲等相關技術的限制，信息的傳播以單模態(tài)形式為主，如文字報道、圖像相冊等。進入大數(shù)據(jù)時代，信息的傳播變得豐富多彩，人們從互聯(lián)網(wǎng)中同時接受圖像、視頻、文本等不同模態(tài)的信息。

智能識別技術：如何管住與用好互聯(lián)網(wǎng)大數(shù)據(jù)？

互聯(lián)網(wǎng)發(fā)展之初受到網(wǎng)絡帶寬、數(shù)據(jù)存儲等相關技術的限制，信息的傳播以單模態(tài)形式為主，如文字報道、圖像相冊等。進入大數(shù)據(jù)時代，信息的傳播變得豐富多彩，人們從互聯(lián)網(wǎng)中同時接受圖像、視頻、文本等不同模態(tài)的信息。例如，當我們在互聯(lián)網(wǎng)上瀏覽一篇精彩的新聞報道時，不僅可以看到詳細的文字描述，還能看到記者在現(xiàn)場拍攝的照片，甚至還有相關的視頻報道。這體現(xiàn)了互聯(lián)網(wǎng)數(shù)據(jù)從單模態(tài)到多模態(tài)的轉(zhuǎn)變。

智能識別技術讓計算機看懂世界

隨著互聯(lián)網(wǎng)多模態(tài)數(shù)據(jù)的大量出現(xiàn)和傳播，“管不住”和“用不好”兩大問題也日益突出。“管不住”是指多模態(tài)大數(shù)據(jù)中隱藏著大量涉恐、涉暴等有害信息，極大地危害著國家安全和社會穩(wěn)定，目前還缺乏自動的分析與識別技術。“用不好”是指現(xiàn)有技術一般是單模態(tài)分析與識別，僅針對信息有限的單模態(tài)數(shù)據(jù)，難以對多模態(tài)數(shù)據(jù)進行有效利用。如何讓計算機看懂世界，實現(xiàn)對互聯(lián)網(wǎng)多模態(tài)大數(shù)據(jù)的有效監(jiān)管與利用，是目前急需解決的重大問題。

針對上述問題，北京大學彭宇新教授團隊在國家自然科學基金、國家863計劃、國家科技支撐計劃等支持下，歷經(jīng)10余年技術攻關，在圖像視頻概念檢測、視覺目標檢測、多模態(tài)數(shù)據(jù)分析與識別、互聯(lián)網(wǎng)輿情監(jiān)測四個方面取得了多項重大技術突破和發(fā)明創(chuàng)新。在2016年北京市科學技術獎評選中，“互聯(lián)網(wǎng)多模態(tài)內(nèi)容分析與識別關鍵技術及應用”項目榮獲一等獎。

突破單模態(tài)分析與識別技術

單模態(tài)分析與識別是突破互聯(lián)網(wǎng)多模態(tài)內(nèi)容識別的基礎和關鍵技術。圖像、視頻和文本是單模態(tài)信息的重要形式，如何使計算機能夠自動分析與識別圖像、視頻和文本的內(nèi)容便成為了研究與應用的難點問題。

圖像、視頻中一般包含某種語義概念，如籃球比賽、奧運會等;同時也包含視覺目標，如行人、汽車、旗幟等。

“雖然人類能夠很容易地識別與理解這些概念與目標，但在計算機看來，數(shù)字圖像就是由一個個像素點構成，這樣人類的語義概念及視覺目標與計算機看到的二進制數(shù)值之間就存在難以逾越的‘語義鴻溝’。”北京大學彭宇新說。

由于圖像、視頻的語義概念比較抽象、視覺目標復雜多變，如“奧運會”這一概念很難從視覺上準確定義，而“旗幟”等目標不具有固定的形態(tài)，導致計算機自動分析與識別的難度很大。

彭宇新團隊針對圖像視頻概念檢測難題，發(fā)明了基于注意力模型和增量深度學習的分類方法，一方面注意力模型能夠定位圖像的顯著性區(qū)域以提高檢測精度;另一方面增量學習在新概念增加過程中，能夠利用已經(jīng)學習到的知識加速新知識學習，同時通過動態(tài)擴容以支持新概念的檢測。該方法使得特定概念的檢測精度突破90%。針對復雜場景下視覺目標檢測問題，發(fā)明了級聯(lián)分類器與極角拓撲約束相結合的判別方法，一方面通過級聯(lián)分類器從海量數(shù)據(jù)中快速篩選出可能包含特定目標的候選區(qū)域，加快檢測速度;另一方面通過極角拓撲約束對候選區(qū)域進行二次判別，提高檢測精度。該方法提高了低分辨率、形變、仿射變換等復雜情況下的檢測效果，使得特定視覺目標檢測精度突破90%。基于上述研究成果，彭宇新教授團隊參加了國際權威評測TRECVID的視頻高層概念檢測比賽，獲得第一名，參賽隊伍包括卡內(nèi)基梅隆大學、牛津大學、IBM Watson研究中心等國際著名大學和研究機構。

在文本內(nèi)容分析上，熱點話題檢測與敏感信息發(fā)現(xiàn)是互聯(lián)網(wǎng)輿情監(jiān)測的兩個主要應用需求。熱點話題與敏感信息通常包含特定的人名、地名、機構名等實體信息，有效地識別實體信息是文本內(nèi)容分析的關鍵。針對上述問題，項目團隊發(fā)明了基于知識元的多模態(tài)語義分析方法和基于情感觀點的話題追蹤方法，有效解決了互聯(lián)網(wǎng)內(nèi)容的語言規(guī)范性差、噪音大、時效性高導致實體難以識別和利用的問題。在國際權威評測TREC 2014年和2015年的微博信息檢索比賽中獲得第一名。

多模態(tài)內(nèi)容的語義協(xié)同

“與互聯(lián)網(wǎng)數(shù)據(jù)的發(fā)展趨勢一樣，我們的研究思路也是從‘單’到‘多’，以單模態(tài)內(nèi)容的分析與識別技術為基礎，重點研究多模態(tài)內(nèi)容的分析與識別技術。”彭宇新說到。

多模態(tài)數(shù)據(jù)在語義表達上具有“共通性”，在內(nèi)容上也是互相關聯(lián)的。據(jù)此，項目團隊提出了基于多模態(tài)分解與融合的語義協(xié)同方法，綜合分析圖像、視頻、文本等多模態(tài)內(nèi)容以獲得更加全面準確的識別結果，并通過跨模態(tài)語義互補性實現(xiàn)多模態(tài)數(shù)據(jù)的綜合分析與有效利用。

項目團隊首先提出了多模態(tài)分解方法，能夠?qū)Π环N或多種模態(tài)的輸入數(shù)據(jù)，按照模態(tài)的不同自動分發(fā)到對應的分析與識別模塊。例如，對于視頻，首先進行鏡頭分割和關鍵幀提取，然后分發(fā)到鏡頭檢索、片斷檢索、概念檢測、視覺目標檢測、人臉識別和視頻字幕識別等模塊?；诙嗄B(tài)信息的分發(fā)結果，對各模態(tài)內(nèi)容分別進行分析與識別，提取文本、圖像、視頻鏡頭、視頻片斷、視覺對象(如視覺目標、人臉)等語義描述信息。進一步對多模態(tài)數(shù)據(jù)進行關聯(lián)分析，構建多模態(tài)關聯(lián)圖來融合不同模態(tài)的分析結果，從跨模態(tài)關聯(lián)層面糾正單模態(tài)語義描述中的錯誤結果，以實現(xiàn)多模態(tài)信息的語義協(xié)同優(yōu)化。

基于上述成果，項目團隊于2009年—2016年多次參加國際權威評測TRECVID的視頻語義搜索比賽，均獲得第一名。

管住與用好互聯(lián)網(wǎng)大數(shù)據(jù)

“除了‘科技頂天’，在關鍵核心技術上取得突破，我們也追求‘市場立地’，將我們的技術實現(xiàn)產(chǎn)業(yè)化，服務于社會。這也是我們北大計算機研究所的創(chuàng)立者王選院士對我們的要求。”彭宇新說道。

瞄準互聯(lián)網(wǎng)大數(shù)據(jù) “管不住”和“用不好”這兩大難題，項目團隊以上述技術為核心，形成了互聯(lián)網(wǎng)多模態(tài)內(nèi)容分析與識別系統(tǒng)、方正智思互聯(lián)網(wǎng)輿情監(jiān)測分析系統(tǒng)、方正智思智能分析系統(tǒng)等系列產(chǎn)品，實現(xiàn)了對互聯(lián)網(wǎng)文本、圖像、視頻等多模態(tài)內(nèi)容的全面監(jiān)測與數(shù)據(jù)利用。

項目團隊的系統(tǒng)和產(chǎn)品已成功應用于國家相關部門等上百家重要單位，涵蓋多個行業(yè)領域，在維護我國互聯(lián)網(wǎng)內(nèi)容安全、促進網(wǎng)絡文化健康發(fā)展等方面發(fā)揮了巨大作用。

來源：砍柴網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。