技術(shù)紅顏告訴你大數(shù)據(jù)分析的真諦：別只盯著我的錢!

技術(shù) 大數(shù)據(jù)分析數(shù)據(jù)模型

于雪 | 2016-05-18 11:33

【數(shù)據(jù)猿導(dǎo)讀】大數(shù)據(jù)時(shí)代已經(jīng)到來，每個(gè)企業(yè)都開始忙著數(shù)據(jù)挖掘，忙著數(shù)據(jù)分析，忙著構(gòu)建各種算法模型。但為什么你無(wú)法引發(fā)“技術(shù)紅顏”式的蝴蝶效應(yīng)?為什么你眼中對(duì)用戶的“精準(zhǔn)推薦”，成了Ta備感厭煩的“精準(zhǔn)騷擾”

很多人都知道， iPhone3是iPhone撬動(dòng)中國(guó)市場(chǎng)的核心。彼時(shí)的iPhone市場(chǎng)占有率還不足1%，而今天，中國(guó)手機(jī)市場(chǎng)似乎再?zèng)]有誰(shuí)能撼動(dòng)蘋果的地位。來自兩個(gè)群體的強(qiáng)大力量推動(dòng)了這種格局的形成，一是我們熟知的“年輕果粉”，另外一個(gè)更加重要的群體被稱為“技術(shù)紅顏”，iPhone的演進(jìn)潮流與這個(gè)群體有極其密切的關(guān)系。

技術(shù)紅顏引發(fā)的iPhone旋風(fēng)

“技術(shù)紅顏”是誰(shuí)?從2009年開始，北京大學(xué)新媒體研究院副院長(zhǎng)劉德寰與他的同事們開始了一項(xiàng)主題為“手機(jī)人”的研究。在定性研究的過程中，他們發(fā)現(xiàn)了一個(gè)極為特殊的小群體，這個(gè)群體小到往往不被注意。她們只占全部人口數(shù)量的0.67%，由年齡在35歲到45歲的職業(yè)女性組成。她們普遍學(xué)歷高、收入高、職位高，喜歡追逐時(shí)尚潮流，怕落伍，買技術(shù)最全面最先進(jìn)的手機(jī)，但卻只使用其中10%的功能。這個(gè)群體被劉德寰等人稱為“技術(shù)紅顏”。

“技術(shù)紅顏”帶動(dòng)了潮流的變化，引發(fā)蘋果旋風(fēng)，其影響力遠(yuǎn)遠(yuǎn)超過“年輕果粉”。因?yàn)樗齻儗⑵心辍⑵墒斓呐砸霑r(shí)尚大潮當(dāng)中，并形成了更大的族群，一種全新的經(jīng)濟(jì)模式被帶動(dòng)——“熟女經(jīng)濟(jì)”。無(wú)論是微博整移動(dòng)化的發(fā)展，移動(dòng)內(nèi)容的付費(fèi)、網(wǎng)購(gòu)，都不乏技術(shù)紅顏的“興風(fēng)作浪”。

大數(shù)據(jù)時(shí)代已經(jīng)到來，每個(gè)企業(yè)都開始忙著數(shù)據(jù)挖掘，忙著數(shù)據(jù)分析，忙著構(gòu)建各種算法模型。但為什么你無(wú)法引發(fā)技術(shù)紅顏式的蝴蝶效應(yīng)?為什么你眼中對(duì)用戶的“精準(zhǔn)推薦”，成了Ta備感厭煩的“精準(zhǔn)騷擾”?

日前在友盟主辦的“全域大數(shù)據(jù)峰會(huì)”上，劉德寰院長(zhǎng)一語(yǔ)中的：

“你沒盯著我的人，老盯著我兜里的錢。我兜里又沒多少錢還緊著盯，我不煩你煩誰(shuí)。”

我們的用戶推薦到底在哪兒出現(xiàn)了問題?

標(biāo)簽推薦的困境

目前最常見的推薦機(jī)制為“相似鄰居推薦”，這是一種基于純行為的標(biāo)簽推薦：當(dāng)進(jìn)行海量數(shù)據(jù)的收集和分析后，如果發(fā)現(xiàn)行為A、行為B總體共現(xiàn)次數(shù)多，系統(tǒng)就會(huì)向有行為A的人推薦B。比如在網(wǎng)購(gòu)時(shí)，如果你的朋友喜歡，那么系統(tǒng)就會(huì)認(rèn)為你也喜歡，就會(huì)把朋友買過的衣服推薦給你。

但其實(shí)，我們?cè)谌粘Ｉ钪凶钣憛挼氖虑橹痪褪?mdash;—撞衫!!

關(guān)系推薦的困境

再以微博推薦機(jī)制為例，其邏輯基本如下：

我與A非好友，但我的好友中有不少人與A是好友，即我和A有不少共同的好友，好么系統(tǒng)便會(huì)A也推薦給我(共同好友);我關(guān)注的人中有不少關(guān)注了B，那么系統(tǒng)推測(cè)我也可能會(huì)喜歡B，從而變會(huì)把B也推薦給我(間接關(guān)注人)。

但大多數(shù)時(shí)候，我們可能會(huì)這樣覺得，“這位和我有毛關(guān)系?”

行為賦值的困境

再說說音樂分類分類，大家常常會(huì)進(jìn)行這樣的行為賦值：

“單曲循環(huán)=5，分享=4，收藏=3，主動(dòng)播放=2，聽完=1，跳過=-2，拉黑=-5”

這些分值分別代表什么意思?對(duì)行為量化到什么程度?你又真的清楚這些行為的原因嗎?如果簡(jiǎn)單的認(rèn)為將某個(gè)行為變成數(shù)值后就可以著手分析的話，面臨的真正難題不是計(jì)算，而是如何明確地判斷這些行為，并進(jìn)行用戶匹配。行為的背后到底是什么，需要精細(xì)的考量。

我們都知道這些機(jī)制有問題，那最好的解決辦法是什么?——從用戶真正關(guān)注的內(nèi)容入手。應(yīng)該通過增加對(duì)用戶內(nèi)容的搜索，尋找到用戶與用戶之間共同的興趣、偏好和價(jià)值。比如分析用戶在微博中發(fā)表、轉(zhuǎn)發(fā)的內(nèi)容，找到不同用戶共同的關(guān)注點(diǎn)、興趣點(diǎn)、價(jià)值觀、生活方式，這才是真正有價(jià)值的實(shí)現(xiàn)路徑。

看到這里，一定不乏憤世小青年發(fā)出咆哮：

“你的系統(tǒng)能實(shí)時(shí)全盤掃描海量用戶的海量微博內(nèi)容?知道這得多少臺(tái)機(jī)器嗎?千萬(wàn)臺(tái)!

”U can U up.No can No BB!“

所以，我們只能退而求其次，選擇這些看起來邏輯很清楚，實(shí)際上效率要弱得多的算法機(jī)制。但這背后的問題是，我們現(xiàn)在利用的數(shù)據(jù)絕大部分是稀疏的，算法經(jīng)常停止于局部最優(yōu)，結(jié)果極其不穩(wěn)定，并存在大量的過度擬合，經(jīng)常把噪音當(dāng)成信號(hào)。最重要的是算法的構(gòu)建絕對(duì)不是基于人性，而是基于商業(yè)。

真的沒辦法了嗎?其實(shí)，無(wú)論是大數(shù)據(jù)還是小數(shù)據(jù)，運(yùn)算的原則都是一致的。讓我們來看看那些真正有效的運(yùn)算原則。

有效運(yùn)算的七大原則

穩(wěn)定性原則：運(yùn)算精準(zhǔn)的前提是穩(wěn)定。面對(duì)不穩(wěn)定的用戶、不穩(wěn)定的行為，不穩(wěn)定的情感等干擾，必須要找到行之有效的辦法去解決。

人性原則：人與物品的區(qū)別是人是有情感的，人有態(tài)度、人情緒、有對(duì)情境的考量、有動(dòng)機(jī)……人的所有行為隨著環(huán)境的變化瞬息萬(wàn)變。人性的不穩(wěn)定，怎么能在大數(shù)據(jù)的運(yùn)算當(dāng)中呈現(xiàn)出來，這是一個(gè)問題。

數(shù)據(jù)全面性原則：數(shù)據(jù)全面是有效分析的基礎(chǔ)，數(shù)據(jù)缺失多錯(cuò)誤率一定高。現(xiàn)在數(shù)據(jù)分析當(dāng)中面臨最常見的問題是低價(jià)值數(shù)據(jù)稠密，高價(jià)值數(shù)據(jù)稀疏。我們的對(duì)象是人，定要基于人的邏輯考慮，產(chǎn)生人可以認(rèn)識(shí)的分析結(jié)果。數(shù)據(jù)的維度應(yīng)該基于人能力所及的范圍，而非機(jī)器。

分類原則：做過調(diào)查的人都知道，做抽樣的時(shí)候永遠(yuǎn)應(yīng)該先分層。在分析用戶之前，我們也一定要先分群。個(gè)體永遠(yuǎn)是復(fù)雜的，復(fù)雜性對(duì)復(fù)雜現(xiàn)象只能添亂。所以不要把人回歸到個(gè)體的維度，而是放在群體里討論。這是一個(gè)降維的過程，也降低了問題的復(fù)雜性。

變量多元指向原則：不要以為變量都只有一種展現(xiàn)方式，所以不要拿比例表做所謂用戶畫像。一個(gè)變量就是一個(gè)含義。以“代溝”為例，它的形成可能關(guān)乎年齡、學(xué)歷、家庭生命周期、社會(huì)現(xiàn)象等等，一個(gè)變量是可以對(duì)應(yīng)N個(gè)維度的。

變量復(fù)雜性原則：變量的呈現(xiàn)并不是簡(jiǎn)單的、分離的現(xiàn)象，而是混后、疊加、再分類后的行為組合。這非常類似于深度學(xué)習(xí)的層級(jí)。

效率原則：效率一定是和人的行為匹配的。如果在沒有進(jìn)行準(zhǔn)確匹配的前提下進(jìn)行推送，人們只會(huì)將大量的推送服務(wù)視為騷擾。

理論有了，實(shí)現(xiàn)路徑在哪里?劉德寰提出兩個(gè)假說。

有效大數(shù)據(jù)運(yùn)算的兩大路徑假說

假說一：基于人，尋找“常人”和“常模”

數(shù)據(jù)運(yùn)算的本質(zhì)是找尋常人”穩(wěn)定的人“，分析的本質(zhì)是建構(gòu)”常模“，常模建立之后才能對(duì)象于個(gè)人。

任何一個(gè)人的行為都沒有規(guī)律，但是人的生活行為方式是都極其規(guī)律的。因此在進(jìn)行數(shù)據(jù)運(yùn)算時(shí)，對(duì)生活方式的探究?jī)r(jià)值要遠(yuǎn)遠(yuǎn)大于對(duì)行為打標(biāo)簽。生活方式對(duì)應(yīng)的就是“常人”。

人的態(tài)度、行為、情緒、場(chǎng)景都是不同的，似乎找不到規(guī)律可言。但人是生活在群體當(dāng)中的，群的行為是用戶特征的綜合，代表的是一種穩(wěn)定的生活方式與態(tài)度，是可以感知和評(píng)判的，其變化是也有規(guī)律可循的。正確的做法是對(duì)某一個(gè)群體的行為分析來建立常模，要注意的是，這不同于數(shù)據(jù)挖掘算法中的”分類‘。這種分析這不是行為的疊加，是一種生活方式的展現(xiàn)，一個(gè)人可以從屬N個(gè)群。文章開頭提到的“技術(shù)紅顏”就是典型的例子。

假說二：基于物，尋找N維空間與人的認(rèn)識(shí)能力

這個(gè)假說的前提是每個(gè)非人的事物都有一個(gè)確定的N維空間，而且N可以從人的認(rèn)識(shí)能力角度定義。每一個(gè)不同的物品，N維空間不一定一樣，但都是相似的，體現(xiàn)的只是數(shù)量的變化。

TESCO的運(yùn)算邏輯是抽樣實(shí)驗(yàn)+分析+大數(shù)據(jù)推送，隨時(shí)實(shí)驗(yàn)，購(gòu)物籃組合，它把每一個(gè)產(chǎn)品都用20個(gè)維度打標(biāo)簽，收集了海量的顧客數(shù)據(jù)，通過對(duì)每位顧客海量數(shù)據(jù)的分析，對(duì)每位顧客的使用程度和相關(guān)風(fēng)險(xiǎn)都有一個(gè)極為準(zhǔn)確的評(píng)估。推薦這件事情就變得簡(jiǎn)單多了。

其實(shí)，運(yùn)算當(dāng)中可以融入社科的所有思想，現(xiàn)有很多程序員只關(guān)注自己的領(lǐng)域，對(duì)其它的行業(yè)一點(diǎn)不了解，您說說，做出的分析能靠譜嗎?

大數(shù)據(jù)運(yùn)算的邏輯本身是要反推人性。因此數(shù)據(jù)科學(xué)要將社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、法學(xué)、政治學(xué)、傳播學(xué)等所有學(xué)科已有的知識(shí)，穩(wěn)定到計(jì)算當(dāng)中。相信那種運(yùn)算規(guī)則不僅效率高，而且簡(jiǎn)單。

來源：中國(guó)大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。