人工智能時代，如何做好內(nèi)容審核和流量反作弊？

人工智能內(nèi)容審核流量反作弊

原創(chuàng) 郭敏 | 2018-04-23 08:00

【數(shù)據(jù)猿導讀】 4月21日，由DataFun、數(shù)據(jù)猿聯(lián)合微軟加速器主辦的主題為“人工智能時代：內(nèi)容審核與流量反作弊”活動在微軟亞太研發(fā)集團總部舉辦。本期活動邀請了曾參與、負責360等多家公司內(nèi)容開放平臺建設的資深算法研發(fā)工程師劉路、愛奇藝流量反作弊項目負責人張曉明和數(shù)美科技聯(lián)合創(chuàng)始人&CTO梁堃從...

來源：數(shù)據(jù)猿記者：郭敏

近日，短視頻APP成為眾矢之的。因相關(guān)短視頻內(nèi)容涉未成年人低俗不良信息，國家網(wǎng)信辦相繼約談了快手和今日頭條旗下火山小視頻相關(guān)負責人，提出嚴肅批評并責令全面整改。之后，微信、QQ也將在互聯(lián)網(wǎng)短視頻整治期間暫停短視頻APP外鏈直接播放功能，涉及的APP包括微視、快手、抖音、西瓜視頻等。

新媒體時代，用戶每天生產(chǎn)的內(nèi)容都在爆發(fā)式增長，在這些新生產(chǎn)的內(nèi)容里通常存在著大量的不良內(nèi)容，會使得用戶產(chǎn)生反感，甚至觸犯法律，這時就需要對這些新生產(chǎn)的內(nèi)容進行審核，而傳統(tǒng)的人工審核方式已經(jīng)跟不上爆發(fā)式增長的內(nèi)容量，人工智能時代，如何做好內(nèi)容開放平臺建設成為業(yè)內(nèi)人士關(guān)注的熱點。

4月21日，由DataFun、數(shù)據(jù)猿聯(lián)合微軟加速器主辦的主題為“人工智能時代：內(nèi)容審核與流量反作弊”活動在微軟亞太研發(fā)集團總部舉行。本期活動邀請了曾參與、負責360等多家公司內(nèi)容開放平臺建設的資深算法研發(fā)工程師劉路、愛奇藝流量反作弊項目負責人張曉明和數(shù)美科技聯(lián)合創(chuàng)始人&CTO梁堃從內(nèi)容、流量等方面分享了人工智能時代，平臺的內(nèi)容審核與流量反作弊是如何完成的。

當下，內(nèi)容開放平臺有三種類型：用戶生產(chǎn)內(nèi)容、專業(yè)生產(chǎn)內(nèi)容和職業(yè)生產(chǎn)內(nèi)容。大眾點評、地圖屬于典型的用戶生產(chǎn)內(nèi)容；豆瓣、知乎屬于典型的專業(yè)生產(chǎn)內(nèi)容；微信公眾號、抖音屬于職業(yè)生產(chǎn)內(nèi)容。內(nèi)容開放平臺的強社交性、強隨機性和強運營性帶來的主要問題和矛盾為廣告主和消費者之間的矛盾，內(nèi)容質(zhì)量和內(nèi)容之間的矛盾以及流量和質(zhì)量之間的矛盾。

人工智能_內(nèi)容審核_流量反作弊-1

劉路資深算法研發(fā)工程師

劉路認為建設一個行之有效的信用體系是內(nèi)容開放平臺解決這些矛盾的關(guān)鍵。一個常規(guī)的信用體系建設架構(gòu)涉及到內(nèi)容生產(chǎn)者和用戶。內(nèi)容生產(chǎn)者提交了內(nèi)容之后去做個人信用和內(nèi)容審核，審核需要利用大數(shù)據(jù)風控和信用評級功能，如果審核不通過內(nèi)容生產(chǎn)者需要進行申訴，兩方面審核均通過則可發(fā)布內(nèi)容，之后可進行AB測試和分級發(fā)布，而內(nèi)容發(fā)布之后需要進行風險評估，從而判斷該內(nèi)容是否需要召回，并設置相應的召回策略。

劉路特別指出，在內(nèi)容方面需要設置層層關(guān)卡，低信用內(nèi)容需要被內(nèi)容信任監(jiān)控，高信用內(nèi)容則需設置內(nèi)容被舉報監(jiān)控，從而最大程度地清除內(nèi)容開放平臺的不合規(guī)內(nèi)容。

當下，視頻網(wǎng)站已經(jīng)形成一條灰色產(chǎn)業(yè)鏈，一些視頻平臺默認刷量行為，廣告展現(xiàn)量中超過20%是虛假的。同時，刷量的流程已經(jīng)高度程序化，業(yè)界缺乏合理的監(jiān)管。而對于廣告主，流量造假與欺詐行為無異。如今，各大視頻網(wǎng)站發(fā)展十分迅速，如何在用戶量較大的情況下，做好流量反作弊？愛奇藝流量反作弊項目負責人張曉明分享了愛奇藝流量反作弊的“術(shù)”與“道”。

人工智能_內(nèi)容審核_流量反作弊-2

張曉明愛奇藝流量反作弊項目負責人研究員

在業(yè)界，對于流量反作弊并沒有統(tǒng)一的定義，在張曉明看來流量反作弊是制造非用戶產(chǎn)生或帶有一定目的性的數(shù)據(jù)，并且有機器作弊和人工作弊兩種形式。其中機器作弊包括模仿投遞日志、調(diào)用接口，這種形式設定模式相對固定，短期效果明顯；人工作弊則包括微信群、QQ群以及由專人指導的專業(yè)APP，指導操作并與用戶分成，這種模式不固定，效果與組織規(guī)模有關(guān)。

利用這兩模式進行直播刷人氣、網(wǎng)站刷廣告、電視劇和商品刷流量，會使得正常用戶對產(chǎn)品的判定標準失衡、企業(yè)信譽受損、數(shù)據(jù)分析不準確和成本上升等多種傷害。

在張曉明看來，流量反作弊具有被動防守、事后分析，業(yè)務場景復雜、沒有通用模型，持續(xù)舊規(guī)則不斷更新新規(guī)則等特點，如何進行有效地流量反作弊？基于以往的業(yè)務經(jīng)驗，張曉明表示，進行行之有效的流量反作弊需要做好前期的準備工作：掌握投遞日志或者數(shù)據(jù)庫中的元數(shù)據(jù)含義，掌握主體業(yè)務的工作模式和場景，避免信息孤島，了解作弊的目的是什么以及與業(yè)務部門進行良好的溝通確認作弊的口徑并做好保密工作。準備工作完成之后，在技術(shù)方面進行IP信譽、安全畫像、加密信息檢測和設備硬件信息檢測；在業(yè)務方面進行規(guī)則統(tǒng)計和機器學習。

隨著移動互聯(lián)網(wǎng)的發(fā)展，人們的衣、食、住、行各個方面都結(jié)合在了一起，這給黑色產(chǎn)業(yè)帶來了很大的盈利空間。在金融領(lǐng)域有借貸欺詐、盜卡交易、洗錢套現(xiàn)等模式；在電商行業(yè)有刷榜、促銷活動欺詐等形式；在游戲方面有黑卡、掛機等現(xiàn)象；在社交方面有淫穢色情發(fā)帖、欺詐廣告等現(xiàn)象。

人工智能_內(nèi)容審核_流量反作弊-3

梁堃數(shù)美科技聯(lián)合創(chuàng)始人&CTO

梁堃表示，面對這些欺詐行為企業(yè)采取了相應的措施，但多數(shù)企業(yè)缺乏全局的風險數(shù)據(jù)支撐和專業(yè)的反欺詐人才團隊，隨著UGC內(nèi)容的內(nèi)在復雜性越來越高，黑產(chǎn)技術(shù)水平與專業(yè)程度的不斷提高，企業(yè)面臨的挑戰(zhàn)越來越多。

當天，基于以往的經(jīng)驗梁堃分享了在內(nèi)容反欺詐方面的一些經(jīng)驗。他表示，UGC場景包括頭像、昵稱、發(fā)帖、彈幕、評論、個人描述、私信、群聊等，UGC帶來的問題：詐騙、廣告、色情、暴恐等文本、圖片、語音UGC內(nèi)容。同一個內(nèi)容在不同的場景下含義不同，單一的關(guān)鍵字黑名單或單一模型極易造成大量誤殺，影響用戶體驗，使用深度學習（RNN）、SVC善NLP技術(shù)針對語意理解的不同方面分別建立不同的模型，從多個緯度檢測語意環(huán)境。采用Char & Word Embedding自動識別數(shù)萬種敏感詞變體、微信／QQ／手機號等聯(lián)系方式變體，采用基于CRF的序列標注自動識別并排除干擾。

如今，騙子們分工明確，形成了龐大的黑色產(chǎn)業(yè)鏈。隨著人工智能時代的到來，通過大數(shù)據(jù)、機器學習等技術(shù)勢必將打擊黑產(chǎn)進行到底。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。