在日前舉行的2017 CSDI 中國(guó)軟件研發(fā)管理行業(yè)峰會(huì)上，包括摩拜單車創(chuàng)始人及CTO夏一平、華為首席系統(tǒng)工程專家徐琦海、京東云、攜程等一線互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)平臺(tái)負(fù)責(zé)人等在內(nèi)一線技術(shù)大咖齊聚一堂，分享了各自領(lǐng)域的頂尖技術(shù)實(shí)踐。在峰會(huì)大數(shù)據(jù)專場(chǎng)上，達(dá)觀數(shù)據(jù)CTO紀(jì)達(dá)麒圍繞“數(shù)據(jù)挖掘算法落地實(shí)踐”做了主題演講，就個(gè)性化推薦系統(tǒng)商業(yè)化的五大要素進(jìn)行了詳細(xì)探討。下面為大家獻(xiàn)上演講的精華內(nèi)容。

機(jī)器學(xué)習(xí)的原理并不神秘

最近“人工智能”特別火。“人工智能”的概念雖然很高大上，但從算法角度來(lái)說(shuō)，離我們是很近的。這些算法之所以能夠得到廣泛地應(yīng)用，很大程度上是因?yàn)闄C(jī)器學(xué)習(xí)和人類學(xué)習(xí)很像，在本質(zhì)上有很多相似性。

從人類學(xué)習(xí)的角度來(lái)說(shuō)，我們教一個(gè)小朋友學(xué)數(shù)學(xué)，我們先要給他一些課本上的例題，讓他知道加減乘除大概是怎么回事；然后給他一本習(xí)題集，讓他不斷地去算，去對(duì)答案，最終學(xué)得四則運(yùn)算的技能。

在這個(gè)過(guò)程中，例題和習(xí)題就是訓(xùn)練樣本，通過(guò)訓(xùn)練樣本獲得標(biāo)準(zhǔn)答案的過(guò)程，就是“訓(xùn)練”。“訓(xùn)練”的最終目的，是要找到一個(gè)“目標(biāo)函數(shù)”。有訓(xùn)練樣本，通過(guò)訓(xùn)練找到目標(biāo)函數(shù)，這就是機(jī)器“學(xué)習(xí)”的方式，它和人類學(xué)習(xí)是很相似的。

舉個(gè)實(shí)際的例子，比如我們的天氣預(yù)報(bào)系統(tǒng)就是按照這個(gè)方式“學(xué)習(xí)”出來(lái)的一個(gè)人工智能系統(tǒng)。為了有一個(gè)好的預(yù)測(cè)結(jié)果，我們先要廣泛地采集溫度、濕度、風(fēng)速、氣壓等各類數(shù)據(jù)和特征，構(gòu)造訓(xùn)練樣本；然后，根據(jù)之前是否下雨以及降雨量的結(jié)果，得到一個(gè)量化的目標(biāo)函數(shù)；接下來(lái)，再通過(guò)建立一個(gè)學(xué)習(xí)模型并反復(fù)糾正完成一套訓(xùn)練過(guò)程，不斷優(yōu)化我們的目標(biāo)函數(shù)，得到盡可能準(zhǔn)確的預(yù)報(bào)結(jié)果。

接下來(lái)我們要展開講的個(gè)性化推薦算法也是如此。它的實(shí)際操作需要克服很多細(xì)節(jié)問(wèn)題，但是其基礎(chǔ)是很容易理解的。（達(dá)觀數(shù)據(jù) 紀(jì)達(dá)麒）

推薦算法的演進(jìn)之路

對(duì)于一個(gè)內(nèi)容提供商，不管是新聞媒體或者是電商，或者是文學(xué)網(wǎng)站，它們提供給用戶的內(nèi)容總是按照一定指標(biāo)來(lái)做推薦的。為此誕生了很多經(jīng)典的做法，但是最后的效果仍然不盡如人意，還有很大的提升空間。

最簡(jiǎn)單的方法是單一指標(biāo)推薦，也叫“熱門推薦”。比如就按點(diǎn)擊量或者銷量來(lái)做排序，優(yōu)先推送閱讀人數(shù)最多、購(gòu)買人數(shù)最多的產(chǎn)品。各種類型的“熱搜”“熱銷”類榜單就是如此。采用單一指標(biāo)推薦最大的問(wèn)題，是沒有“個(gè)性化”。沒有“個(gè)性化”會(huì)導(dǎo)致兩個(gè)顯著的后果——首先是體驗(yàn)相對(duì)較差，用戶內(nèi)心深處“想要變得不同”的需求沒有被激發(fā)出來(lái)；另外一個(gè)問(wèn)題，就是馬太效應(yīng)明顯，本身得到曝光的產(chǎn)品會(huì)持續(xù)得到曝光，而處于長(zhǎng)尾上的商品則持續(xù)得不到曝光，等于大量質(zhì)量不錯(cuò)的產(chǎn)品或內(nèi)容其實(shí)被閑置了。

圖一：傳統(tǒng)排行榜的邏輯

為了解決這兩個(gè)問(wèn)題，出現(xiàn)了兩種針對(duì)性的方案，即基于用戶（user）信息和物品（item）信息分別來(lái)做推薦。

根據(jù)物品信息來(lái)做推薦，關(guān)鍵是對(duì)物品的基本屬性、類別、標(biāo)簽等進(jìn)行標(biāo)注，通過(guò)對(duì)物品信息的深度分析，為用戶推薦和他之前瀏覽記錄相似的物品。在這個(gè)過(guò)程中，要推薦的物品的形態(tài)是清楚了，但用戶的畫像仍然是模糊的。

根據(jù)用戶信息來(lái)做推薦，關(guān)鍵是根據(jù)用戶的行為日志來(lái)刻畫他的偏好。通過(guò)對(duì)用戶喜歡點(diǎn)什么，來(lái)為這個(gè)用戶建立他的偏好模型，然后向他推送他偏好的那些內(nèi)容。在這個(gè)過(guò)程中，用戶畫像是有些清晰了，但是用戶仍然是個(gè)體化的，不同用戶之間的相似性、用戶行為的社會(huì)性并沒有得到比較好的體現(xiàn)，推薦的精度也并沒有一個(gè)很好的提升。

針對(duì)這些問(wèn)題，出現(xiàn)了“協(xié)同過(guò)濾”的算法。協(xié)同過(guò)濾算法的核心，是利用群體智慧。具體來(lái)講，分為基于物品的協(xié)同過(guò)濾和基于用戶的協(xié)同過(guò)濾。舉例來(lái)說(shuō)，基于物品的協(xié)同過(guò)濾的思路，是說(shuō)在一大群人中，我們發(fā)現(xiàn)看劉德華的人很多都會(huì)看張學(xué)友，這說(shuō)明張學(xué)友和劉德華有相似度，那以后碰到點(diǎn)擊劉德華的人，我們可以為他推薦張學(xué)友。而基于用戶的協(xié)同過(guò)濾是說(shuō)，在一大群人中，我們發(fā)現(xiàn)A和B兩個(gè)人都喜歡看好萊塢大片，比如他們都看了變形金剛、木乃伊、神奇女俠，這說(shuō)明A和B是同好中人，后面用戶A又看了加勒比海盜，那就可以把加勒比海盜也推薦給B。

在商業(yè)實(shí)戰(zhàn)中，協(xié)同過(guò)濾通常會(huì)和對(duì)物品以及用戶的深度分析相結(jié)合，并進(jìn)行進(jìn)一步的模型融合，從而得到一個(gè)精準(zhǔn)度更高的效果。比如基于物品的協(xié)同過(guò)濾在Amazon、Netflix等網(wǎng)站中成功應(yīng)用，能為用戶推薦同領(lǐng)域的更深入的結(jié)果；而基于用戶的協(xié)同過(guò)濾則傾向于推薦范圍更寬泛而熱門的內(nèi)容，在特定場(chǎng)景下運(yùn)用，能實(shí)現(xiàn)跨領(lǐng)域、令人耳目一新的結(jié)果。

圖二：協(xié)同過(guò)濾的模型融合

除了協(xié)同過(guò)濾，隱語(yǔ)義模型的廣泛應(yīng)用也是一個(gè)重要的技術(shù)突破。以前傳統(tǒng)的分析方式分為兩步，第一步是對(duì)用戶打標(biāo)簽，比如“15-20歲，男性”；有了這個(gè)標(biāo)簽，第二步是根據(jù)這些標(biāo)簽來(lái)映射到結(jié)果。這兩步都存在一些“硬傷”。首先，根據(jù)用戶信息打出的標(biāo)簽不一定準(zhǔn)確，比如用戶填的注冊(cè)年齡，不一定是真實(shí)的年齡；其次，通過(guò)標(biāo)簽來(lái)對(duì)其偏好的物品進(jìn)行映射，準(zhǔn)確度也不高。比如男性中確實(shí)很大部分喜歡體育類內(nèi)容，但是所有男性都要給他們推送體育類內(nèi)容嗎？這樣的推薦精準(zhǔn)度是比較差的。隱語(yǔ)義模型的核心，是超越這些表層語(yǔ)義標(biāo)簽的維度，通過(guò)機(jī)器學(xué)習(xí)技術(shù)，挖掘用戶行為中更深層的潛在關(guān)聯(lián)，從而避免人工貼標(biāo)簽粗放、主觀的缺點(diǎn)，使得推薦精準(zhǔn)度更高。

協(xié)同過(guò)濾和隱語(yǔ)義模型已經(jīng)應(yīng)用在越來(lái)越多的商業(yè)場(chǎng)景中。不過(guò)，對(duì)于一個(gè)成功的算法來(lái)說(shuō)，僅僅明確其模型基礎(chǔ)是不夠的，還必須要具備下面所說(shuō)的這些重要優(yōu)點(diǎn)。

五大要素缺一不可

從整個(gè)行業(yè)的實(shí)踐來(lái)看，有五個(gè)要素至關(guān)重要，即自我進(jìn)化、快速建模、模型融合、開放架構(gòu)以及性能/效果/資源的良好平衡。具備這五個(gè)要素的算法，才能有效應(yīng)對(duì)海量實(shí)時(shí)數(shù)據(jù)的吞吐，并高效持續(xù)地進(jìn)行運(yùn)轉(zhuǎn)。

自我進(jìn)化

一個(gè)推薦系統(tǒng)要長(zhǎng)期運(yùn)行，首先要解決的就是自我進(jìn)化的問(wèn)題。用戶的興趣、物品的價(jià)值以及用戶數(shù)據(jù)的時(shí)效性都會(huì)隨著時(shí)間的推延而變化。用戶的興趣有長(zhǎng)期和短期的興趣，曾經(jīng)的短期興趣并不能對(duì)預(yù)測(cè)其未來(lái)行為提供很好的參考；物品的價(jià)值也有它的高峰期和平原期，現(xiàn)在賣得好的產(chǎn)品未必以后也賣得好，反之亦然。

圖三：用戶模型

以前針對(duì)用戶興趣、物品價(jià)值的變化，通常是用人工設(shè)定規(guī)則的方法來(lái)加以應(yīng)對(duì)。隨著數(shù)據(jù)量呈幾何級(jí)的增長(zhǎng)，人工設(shè)定規(guī)則繁瑣且低效的弱點(diǎn)越來(lái)越明顯。人工設(shè)定100條、1000條規(guī)則可能還行，但是100萬(wàn)、1000萬(wàn)條規(guī)則呢？根本不可行。與之相比，通過(guò)算法設(shè)計(jì)，驅(qū)動(dòng)推薦系統(tǒng)不斷進(jìn)行自我進(jìn)化，不但更可行，而且更精準(zhǔn)高效。

快速建模

在信息的洪流裹挾下，用戶在每個(gè)平臺(tái)停留的時(shí)間是很有限的，這就要求推薦系統(tǒng)必須根據(jù)這很短的停留時(shí)間內(nèi)用戶的行為數(shù)據(jù)，快速地捕捉其興趣，為其建立和更新興趣模型，從而迅速為其推薦個(gè)性化的內(nèi)容。

對(duì)于新用戶來(lái)說(shuō)，這個(gè)問(wèn)題特別明顯，業(yè)界稱之為“冷啟動(dòng)”問(wèn)題。解決冷啟動(dòng)問(wèn)題，從完全空白到建立起一個(gè)可以提供有效參考的用戶模型通常需要幾天。這個(gè)漫長(zhǎng)的周期在實(shí)際的商業(yè)化過(guò)程中是很致命的。很難想象一個(gè)用戶如果沒有在首次瀏覽時(shí)獲得滿意印象后以后仍會(huì)經(jīng)常來(lái)光顧。

要解決冷啟動(dòng)問(wèn)題，有很多種方案，比如可以通過(guò)外部信息，如IP地址，注冊(cè)信息等來(lái)完善用戶的標(biāo)簽體系。但更重要的是，我們可以選擇那些接受度比較高、同時(shí)又能代表細(xì)分領(lǐng)域的物品來(lái)測(cè)試用戶的興趣點(diǎn)。如何選擇這些物品，以確保能快速地明確用戶興趣，是問(wèn)題的核心。一個(gè)能快速捕捉到用戶興趣的推薦系統(tǒng)，是確保用戶留存、提升用戶轉(zhuǎn)化率的重要因素。

模型融合

前面講協(xié)同過(guò)濾時(shí)我們已經(jīng)提到，商用的推薦算法中都融合了多套算法，以獲得更佳的效果。在機(jī)器學(xué)習(xí)領(lǐng)域，每一個(gè)單一算法都是針對(duì)一類特定的問(wèn)題，因而針對(duì)同一個(gè)推薦任務(wù)，不同的算法效果相差很大。但是，實(shí)踐中的推薦任務(wù)千差萬(wàn)別，每個(gè)任務(wù)適應(yīng)的算法往往并不相同，在這種情況下，將多個(gè)算法的預(yù)測(cè)結(jié)果進(jìn)行融合，往往能取得10%以上的優(yōu)化效果。

模型融合的出發(fā)點(diǎn)是想建立一個(gè)通用性更強(qiáng)的解決方案，以期用一個(gè)較一般的算法模型，來(lái)為盡可能多的任務(wù)提供支持。如何盡量兼顧“通用性”和“優(yōu)化效果”，是在進(jìn)行模型融合過(guò)程中需要考慮的關(guān)鍵。在實(shí)踐中，我們開發(fā)出的獨(dú)有專利的雙層疊加算法模型就是這方面的一個(gè)典型案例，現(xiàn)在已經(jīng)成為我們向客戶提供推薦服務(wù)的技術(shù)基礎(chǔ)。

開放架構(gòu)

從推薦算法發(fā)展的歷史來(lái)看，新的算法始終在不斷的涌現(xiàn)，尤其是隨著深度學(xué)習(xí)興起之后，各種新興算法更是層出不窮，包括強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等新方法、新領(lǐng)域都開始受到越來(lái)越多的關(guān)注。

對(duì)于一個(gè)優(yōu)秀的推薦系統(tǒng)來(lái)說(shuō)，即使現(xiàn)在的推薦效果已經(jīng)相當(dāng)好，但必須對(duì)新興算法也持有海納百川、兼容并蓄的態(tài)度，才能不斷地進(jìn)一步優(yōu)化提升自己。要做到這樣的理想狀態(tài)，整個(gè)系統(tǒng)架構(gòu)的開放性是至關(guān)重要的。比如我原來(lái)是采用協(xié)同過(guò)濾來(lái)做推薦的，現(xiàn)在要接入深度學(xué)習(xí)的算法，怎樣才能保證我原來(lái)的系統(tǒng)仍然高效穩(wěn)定的運(yùn)行？如果是見獵心喜，跟風(fēng)趕潮流地接入新算法，會(huì)有很大風(fēng)險(xiǎn)，系統(tǒng)的效率和穩(wěn)定性可能都會(huì)打折扣。如何解決這個(gè)問(wèn)題，是我們?cè)谧黾軜?gòu)設(shè)計(jì)的時(shí)候一開始就該有所考慮的。

性能/效果/資源的良好平衡        

和以前相比，現(xiàn)在的數(shù)據(jù)量的增長(zhǎng)可以說(shuō)是爆炸式的。用戶數(shù)、商品數(shù)的急劇增長(zhǎng)，隨之而來(lái)的是為他們建立的模型的數(shù)量呈現(xiàn)幾何級(jí)增長(zhǎng)——每個(gè)用戶不僅有長(zhǎng)期興趣模型還有短期興趣模型，每個(gè)商品也要建立時(shí)效性變化的模型，而且在高并發(fā)的場(chǎng)景下，所有這些事情都需要在極短的時(shí)間內(nèi)完成，但是運(yùn)算所需的硬件資源卻是有限的，這時(shí)候就需要在資源消耗和運(yùn)算效果中找到一個(gè)平衡。（達(dá)觀數(shù)據(jù) 紀(jì)達(dá)麒）

比如大家都知道分布式計(jì)算是解決海量數(shù)據(jù)運(yùn)算的一個(gè)解決方案，但是分布式數(shù)據(jù)很難滿足時(shí)效性方面的要求。要滿足時(shí)效性的需求，很重要的一點(diǎn)就是要簡(jiǎn)化模型，去掉不必要的用戶特征，從而降低運(yùn)算量，并同時(shí)緩解存儲(chǔ)資源緊張的問(wèn)題。但是，降低了運(yùn)算量之后，會(huì)不會(huì)對(duì)推薦效果產(chǎn)生消極影響？如何平衡好運(yùn)算量和推薦效果，這也是一個(gè)大課題

。

圖四：三層火箭模型

在實(shí)際中，我們的操作方式是，專門抽取出高價(jià)值的用戶和物品，讓它們享受更復(fù)雜的算法和更快的更新頻率，同時(shí)構(gòu)建“三級(jí)火箭”的算法體系。“三級(jí)火箭”的核心思想是，按照離線、近線、在線這三個(gè)步驟，將一整套推薦算法拆分成三個(gè)部分。比如，對(duì)海量用戶日志進(jìn)行深入挖掘完全可以獨(dú)立進(jìn)行，可以離線進(jìn)行操作；Cache、Model的及時(shí)更新、迅速捕捉用戶點(diǎn)擊反饋以及一些較輕量級(jí)的推薦算法的運(yùn)行可以在近線部分進(jìn)行完成；在線部分則負(fù)責(zé)及時(shí)響應(yīng)請(qǐng)求并返回結(jié)果，保證高可靠高并發(fā)的能力。在算法設(shè)計(jì)中應(yīng)用類似的思路，可以分?jǐn)傔\(yùn)算壓力，提升運(yùn)算效率。

注：本文由 達(dá)觀數(shù)據(jù) 投稿數(shù)據(jù)猿發(fā)布。

歡迎更多大數(shù)據(jù)企業(yè)、愛好者投稿數(shù)據(jù)猿，來(lái)稿請(qǐng)直接投遞至：tougao@datayuan.cn

來(lái)源：數(shù)據(jù)猿