愛奇藝背后的AI雷達(dá)密碼
原創(chuàng) 華笙 | 2021-01-10 18:58
【數(shù)據(jù)猿導(dǎo)讀】 打開愛奇藝APP,各種清爽的劇集、電影、綜藝等撲面而來。當(dāng)我們隨意點開一部,跳過廣告,你就會發(fā)現(xiàn)愛奇藝AI雷達(dá)的蹤跡。你可能只知道它可以用來人臉識別、身份識別,但卻不知道它還能用來“監(jiān)測民意”,甚至還會彈幕造梗。不僅如此, AI雷達(dá)還可以全鏈路助力用戶傳播行為,達(dá)成企業(yè)營...

打開愛奇藝APP,各種清爽的劇集、電影、綜藝等撲面而來。當(dāng)我們隨意點開一部,跳過廣告,你就會發(fā)現(xiàn)愛奇藝AI雷達(dá)的蹤跡。你可能只知道它可以用來人臉識別、身份識別,但卻不知道它還能用來“監(jiān)測民意”,甚至還會彈幕造梗。不僅如此, AI雷達(dá)還可以全鏈路助力用戶傳播行為,達(dá)成企業(yè)營銷的目的。
AI雷達(dá)的三大攻略
“聰明”的AI雷達(dá)時時刻刻保持對你的關(guān)注。當(dāng)觀眾選擇劇集,并為此花費時間時,AI雷達(dá)就已經(jīng)在工作狀態(tài)中了,它會時刻捕捉用戶關(guān)注點、智能監(jiān)測預(yù)估爆點、彈幕造梗引爆話題,讓你情不自禁被引導(dǎo),并產(chǎn)生分享、購買行為。
AI 雷達(dá)能夠?qū)崟r定位、識別和搜索視頻中的角色人物以及各種物品,用戶通過鏈接功能,去了解信息,去購物,還可以快速進(jìn)入“泡泡圈”,對角色進(jìn)行交流討論和與明星互動。其實,筆者覺得AI雷達(dá)像商店里的導(dǎo)購,為的是讓你更多了解你所看到的一切,基于此,與你展開更多有價值的互動。不過,這個導(dǎo)購,更加隱蔽,并對你觀察更為細(xì)致了。
AI雷達(dá)可以通過AI技術(shù)識別人臉及物體,同時打通愛奇藝百科、愛奇藝泡泡,從而幫助內(nèi)容營銷調(diào)取數(shù)據(jù)及策略,分析指導(dǎo)營銷團隊加大對熱門演員、熱門商品的推廣,提升相關(guān)內(nèi)容關(guān)注度。在觀劇過程中,觀眾通過點擊屏幕左側(cè)的掃一掃按鈕,既方便觀眾自動識別出感興趣演員的人物百科、彈幕百科和專題百科,又方便愛奇藝平臺監(jiān)測觀眾的興趣點和關(guān)注點,從而抓取新的營銷“素材”,一舉兩得。
愛奇藝AI雷達(dá),可在《奇葩說》中掃一掃李誕直接看百科
智能AI輿情監(jiān)測系統(tǒng)具備有效預(yù)判、迅速抓取和捕捉用戶愛看的片段和話題的“能力”,為內(nèi)容營銷預(yù)估話題爆點,從而為營銷方向提供有效建議。與此同時,借助智能AI輿情監(jiān)測系統(tǒng)還可以進(jìn)行彈幕有效關(guān)鍵詞的抓取,基于大數(shù)據(jù)提取的用戶興趣點,通過篩選出全劇點贊量靠前的彈幕,在界面顯示為“梗”,從而實現(xiàn)彈幕造梗效果。這類花樣互動玩法成為劇集熱度的重要貢獻(xiàn)者。由彈幕造梗延伸而來的“造梗運動”“熱搜話題”等社交互動方式,也是內(nèi)容熱度值的一大重要體現(xiàn)。
營銷造梗在近期熱播的《哈哈哈哈哈》《流金歲月》《奇葩說7》等作品中均有體現(xiàn),儼然成為愛奇藝眾多營銷項目中的常青款。例如,在《哈哈哈哈哈》中曾誕生了“鹿晗的笑容治愈我”等話題,將彈幕熱點話題輸出打造為“爆梗”形成互動熱潮。這些直接來自用戶的“梗”經(jīng)加工后再次反輸給大眾,自然能準(zhǔn)確擊中網(wǎng)友high點。隨著劇集的熱播而頻繁出圈,這些話題也屢次登上熱搜,帶動一輪又一輪的社交傳播。
AI雷達(dá)的目的在于充分調(diào)動用戶參與互動的主觀能動性,最大化提升內(nèi)容觀看的用戶黏性,以保證內(nèi)容熱度的穩(wěn)定發(fā)酵及持續(xù)增長。用戶互動的素材來源,往往來自于用戶觀看的實時反饋。這些素材往往又產(chǎn)生于彈幕、評論區(qū)等交互地帶。
AI雷達(dá)是愛奇藝實施科技賦能策略時通盤考慮下的杰作。互聯(lián)網(wǎng)時代,每一個爆款背后都有著自身獨特的營銷理念。AI雷達(dá)作為愛奇藝AI戰(zhàn)略的一部分,發(fā)揮了顯而易見的拼圖作用,它與AI人臉識別“只看TA”個性化推薦,愛奇藝一鍵制作、一鍵分享的智能剪輯,一脈相承,前兩者拉動用戶觀看、激發(fā)用戶分享,并在中間提升用戶互動,相互嵌套,線性組合。
AI雷達(dá)的90后“父母”
AI雷達(dá)是愛奇藝奇異果TV獨有的一款創(chuàng)新應(yīng)用,具有強大的AI視頻能力。它的誕生離不開兩位年輕愛奇藝90后Elliote和Youm的奇思妙想。為了表達(dá)他們對這款產(chǎn)品的突出貢獻(xiàn),愛奇藝將他倆分別稱之為“AI雷達(dá)之父”“AI雷達(dá)之母”。
2018年,在愛奇藝智能電視團隊的創(chuàng)新分享會上,負(fù)責(zé)UE設(shè)計的Elliote基于生活中的智能電視應(yīng)用洞察,提出了手機與智能電視之間互動的創(chuàng)意,后經(jīng)內(nèi)部討論,創(chuàng)意最終定義出AI雷達(dá)產(chǎn)品,即通過電視遙控器實現(xiàn)視頻信息的識別和搜索。
隨后,AI雷達(dá)項目立項。熱衷AI功能應(yīng)用的產(chǎn)品經(jīng)理Youm承擔(dān)起了這份挑戰(zhàn)性的工作。AI雷達(dá)在上線前要經(jīng)過三重關(guān)口,第一是準(zhǔn)確定義Al雷達(dá)功能,細(xì)化產(chǎn)品的需求。這是從0到1的想像,內(nèi)部成員勢必面臨輪番“燒腦”碰撞和反復(fù)討論修訂的艱難過程,以期產(chǎn)品通關(guān)。第二是要過用戶體驗關(guān),功能應(yīng)用既要簡單易用,又要解決識別框如何出現(xiàn)、如何展現(xiàn)、停留多久、如何消失等UI/UE問題,以盡量減少對用戶觀看視頻的影響。第三是內(nèi)外資源的整合。因此,他們要整合AI技術(shù)、產(chǎn)品開發(fā)測試等內(nèi)部力量,在3個月內(nèi)實現(xiàn)產(chǎn)品上線。
另外,團隊還要高效整合AI雷達(dá)鏈接的外部信息、商品資源、廣告資源等,以更好創(chuàng)造用戶價值和公司商業(yè)價值。
經(jīng)過一番攻堅克難的挑戰(zhàn),AI雷達(dá)終于上線。對于電視用戶的覆蓋率預(yù)估大約為千分之一,但用戶的熱情明顯超過了愛奇藝團隊預(yù)期,每天百萬級的用戶會使用這一功能去查閱信息。后在團隊的努力策劃與實踐下,又大大提高了AI雷達(dá)功能應(yīng)用的活躍度,用戶使用率大幅提升。
多模態(tài)算法的強力支撐
AI雷達(dá),繞不過去的是多模態(tài)算法。其背后的大數(shù)據(jù)人臉庫存與隨機識別能力,體現(xiàn)了愛奇藝機器學(xué)習(xí)能力的深度與廣度。最終,AI雷達(dá)成為助力愛奇藝品牌營銷的重要抓手。
多模態(tài)技術(shù)是對視頻中,人物服飾、發(fā)型、聲紋和虹膜等生物特征的識別。它既可以識別虛擬人物,也可以對真人進(jìn)行識別。
愛奇藝科學(xué)家路香菊博士介紹,虛擬人物識別技術(shù)遇到的第一個挑戰(zhàn)是數(shù)據(jù)源問題,無論是圖片數(shù)量還是人物身份信息數(shù)量,對應(yīng)用到實際業(yè)務(wù)中來說都是遠(yuǎn)遠(yuǎn)不夠的,同時這些數(shù)據(jù)的標(biāo)注信息質(zhì)量也參差不齊。這讓他們前期花費大量的時間進(jìn)行數(shù)據(jù)清洗與標(biāo)注。目前他們已經(jīng)積累了大約四萬多個角色,近50萬張訓(xùn)練圖片,標(biāo)注精度達(dá)98%,標(biāo)注信息包括位置檢測框、姿態(tài)、性別、顏色等。
路香菊
路香菊的團隊,還在虛擬人物識別中借鑒了真人識別中的一些損失函數(shù),如 Softmax、SphereFace、CasFace、ARCFace等,不斷使類內(nèi)分布更緊密,類間分布差異更大,提高實踐應(yīng)用中判別的準(zhǔn)確性。此外,也利用真人數(shù)據(jù)與卡通數(shù)據(jù)進(jìn)行融合來彌補虛擬人物數(shù)據(jù)不足的現(xiàn)狀。
就真人識別來講,愛奇藝人臉識別相關(guān)算法使用的人臉數(shù)據(jù)庫 ID已達(dá)到了550萬,可直接識別名字的名人數(shù)量達(dá)到30萬左右。面對這么多人臉數(shù)據(jù),如何處理噪聲是一項非常艱巨的任務(wù)。他們以算法為主,人工為輔將人臉數(shù)據(jù)集的噪聲比例降到了非常低的水平,使模型精度有了大幅度的提升。通過模型量化、剪枝、蒸餾等處理優(yōu)化模型速度,同時對CPU版本進(jìn)行定制優(yōu)化,節(jié)省了大量資源。
為了支持這么大規(guī)模的人物數(shù)據(jù)訓(xùn)練,愛奇藝還自研了定制化分布式框架。雖然有一些開源的框架,但是更多情況下適合一些簡單任務(wù)。針對有定制化需求任務(wù)難以滿足的情況,他們的自研框架,無論是整體訓(xùn)練的精度,還是訓(xùn)練速度,都有非常大的提升空間。
在識別精度方面,愛奇藝在他們的數(shù)據(jù)集上進(jìn)行評測:第一個數(shù)據(jù)集是中學(xué)生庫,數(shù)據(jù)分布主要集中在證件照或證件照相匹配的實際應(yīng)用場景;二是愛奇藝員工數(shù)據(jù)庫,里面包含了大量的人臉、姿態(tài)、表情等變化;三是愛奇藝在多模態(tài)人物識別競賽中發(fā)布的數(shù)據(jù)集,里面主要是針對明星的視頻數(shù)據(jù)進(jìn)行身份識別。
愛奇藝不僅做簡單的人臉識別,而且在人臉信息不足或不清晰的情況下,選擇其他信息來輔助進(jìn)行人物定位。在所有的信息中,首先是聲音信息;其次,在無聲情境中,要結(jié)合場景(如打斗、行走中、監(jiān)控),利用人物的一些動作、背影等姿態(tài)以及服飾等信息來進(jìn)行人物身份判斷。
經(jīng)過兩年的積累,愛奇藝基于真實場景中視頻任務(wù)的多模態(tài)數(shù)據(jù)庫已經(jīng)成為業(yè)內(nèi)首個多模態(tài)數(shù)據(jù),并且標(biāo)簽清晰,規(guī)模最大。
來源:數(shù)據(jù)猿
刷新相關(guān)文章
我要評論
活動推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計算機網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
- 第五屆FEA消費金融國際峰會2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會2018”2018-06-14
不容錯過的資訊
-
12020京麒網(wǎng)絡(luò)安全大會議程發(fā)布,你想看的
-
2雙11復(fù)盤進(jìn)行時, 八大維度診斷消費者運
-
3百融云創(chuàng)搭建Indra平臺 構(gòu)建安全保護(hù)壁
-
4【金猿產(chǎn)品展】Elens智語——“傻瓜化”
-
5【金猿技術(shù)展】智能創(chuàng)意推薦與優(yōu)化引擎技
-
6【金猿案例展】老百姓大藥房——新零售數(shù)
-
7【金猿產(chǎn)品展】企企管理云——新一代企業(yè)
-
8【金猿技術(shù)展】鏡像生成式神經(jīng)機器翻譯模
-
9開啟新篇章!CPG 2021:第六屆中國消費
-
10【金猿產(chǎn)品展】Linkflow CDP——國內(nèi)領(lǐng)