“忘掉大數(shù)據(jù)”之“建模術(shù)”：數(shù)據(jù)挖掘要還原用戶的生活

大數(shù)據(jù) 數(shù)據(jù)建模數(shù)據(jù)挖掘

中國統(tǒng)計(jì)網(wǎng) | 2016-06-12 11:46

【數(shù)據(jù)猿導(dǎo)讀】建模其實(shí)并不神秘，本質(zhì)上是讓數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)。而建模關(guān)鍵是要還原用戶的生活場景，找準(zhǔn)方向，找到合適的數(shù)據(jù)關(guān)聯(lián)推導(dǎo)，快速校驗(yàn)迭代收斂

“忘掉大數(shù)據(jù)”之“建模術(shù)”：數(shù)據(jù)挖掘要還原用戶的生活

建模無疑是大數(shù)據(jù)里面最藝術(shù)的部分，也是最令大數(shù)據(jù)從業(yè)者癡迷、得意的領(lǐng)域，一個好的模型就是一篇作品，是一首詩，令人心曠神怡。

建模、模型并不是什么新鮮事物，它們早已出現(xiàn)在很多場合，譬如“產(chǎn)品模型”、“推薦模型”、“營銷模型”、“挖掘模型”等等，它們有什么不同?

建模的幻影有千萬種，有些人做過，有些人沒做過，我們該如何看待?

建模是不是需具備很多專業(yè)知識，非專業(yè)人士無法掌握?

小白楊的所思所想，都在下面的文字。

一、建模并不神秘：讓數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)一些建模的觀點(diǎn)已在前面的道與法兩篇體現(xiàn)，歸納如下：建模的本質(zhì)就是讓數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)。人類、智能體的認(rèn)知、行動需要用到不同的數(shù)據(jù)(Know->行動)，如果這個數(shù)據(jù)沒有被直接掌握，那就要基于已知的事實(shí)數(shù)據(jù)推測，這個過程就是“建模”，得到的結(jié)果就是一個新的“數(shù)據(jù)”。建模就是在做偵探，都是利用已掌握的大量的、不完整的、不一定可信的事實(shí)數(shù)據(jù)推導(dǎo)還原事實(shí)的全部。幾乎所有的領(lǐng)域都涉及建模。模型分三大類，但萬變不離其宗。

第一類，利用已知的事實(shí)數(shù)據(jù)計(jì)算推測相關(guān)聯(lián)的其它事實(shí)數(shù)據(jù)，譬如應(yīng)用人的屬性、行為數(shù)據(jù)推測它的消費(fèi)需求;

第二類，利用已知的事實(shí)數(shù)據(jù)計(jì)算推測規(guī)律性的數(shù)據(jù)，譬如基于歷史的購買記錄分析商品的銷售趨勢、細(xì)分比較等;

第三類，利用已知的細(xì)節(jié)事實(shí)數(shù)據(jù)組合建立對事實(shí)全局的認(rèn)識(數(shù)據(jù))，譬如從生效時間、適用區(qū)域及客戶群、定價等維度建立產(chǎn)品模型，其實(shí)就是綜合這些細(xì)節(jié)數(shù)據(jù)形成了一個“產(chǎn)品”的“數(shù)據(jù)”。對“新”的數(shù)據(jù)的認(rèn)識不要拘泥于一定要和以前的數(shù)據(jù)不一樣，多個數(shù)據(jù)組合形成新的含義也是一種新的數(shù)據(jù)。數(shù)據(jù)是人類對世界的觀測，把客觀世界抽樣、采集到數(shù)字世界里面，建模就是要在數(shù)字世界里面把客觀事實(shí)還原回來、預(yù)測它的發(fā)展。有趣的是，在數(shù)字世界里面，可以打破客觀物質(zhì)的當(dāng)前認(rèn)知局限，任意交叉組合，從而有無限創(chuàng)新的可能。

總結(jié)一下，建模本質(zhì)就是對已知數(shù)據(jù)的組合、簡單或者復(fù)雜的計(jì)算處理，最終轉(zhuǎn)換成一個新的數(shù)據(jù)，從而影響行動。不同類型建模差別很大，接下來我們將聚焦到數(shù)據(jù)營銷領(lǐng)域來探討，部分觀點(diǎn)不具備普適性。

二、建模的六大誤區(qū)

誤區(qū)一：會用工具等于會建模?數(shù)據(jù)挖掘大多遵循CRISP-DM流程，弄來很多的數(shù)據(jù)維度(有甚者上百種)，選取某一種算法，找來訓(xùn)練集訓(xùn)練出一堆莫名其妙的規(guī)則，輸出的目標(biāo)用戶特征誰也說不清楚，只能告訴你支持度、置信度多少。這個過程本來是沒有問題的，前提條件是有明確的挖掘方向。但是很多人都錯把業(yè)務(wù)目標(biāo)當(dāng)挖掘方向了。真正的建模應(yīng)該從業(yè)務(wù)目標(biāo)開始，先基于業(yè)務(wù)目標(biāo)理解客戶分解挖掘方向(特征明顯的群體)，再找數(shù)據(jù)用算法關(guān)聯(lián)推導(dǎo)。懂工具能很好的完成挖掘方向到目標(biāo)結(jié)果的過程，但業(yè)務(wù)目標(biāo)到挖掘方向這個過程就不是只掌握工具就能夠勝任的了。敏銳的洞察挖掘方向、正確的數(shù)據(jù)選取是建摸的核心能力，比掌握工具更加重要!

誤區(qū)二：建模不與實(shí)際銷售場景相結(jié)合!某央企(莫亂猜)各省公司大數(shù)據(jù)成功案例滿天飛，模型成功率動輒30-40%。筆者看到的時候自慚形愧，也一直很納悶，做了這么多年精準(zhǔn)營銷，大部分模型的營銷成功率都是幾個百分點(diǎn)，兩位數(shù)以上的鳳毛麟角，怎么別人的水平都已經(jīng)趕超美帝了!后來終于搞明白，原來他們的目標(biāo)客戶在各種渠道成功下單都算，不管是否施加了營銷動作，而我們只統(tǒng)計(jì)針對目標(biāo)用戶采取營銷動作的直接轉(zhuǎn)化下單。他們得意于挖出目標(biāo)用戶的精準(zhǔn)，其實(shí)，這些模型的高成功率只能說明這批用戶自然轉(zhuǎn)化率高，找出這些用戶并無實(shí)質(zhì)意義，因?yàn)椴皇┘尤魏蝿幼饔脩艟鸵呀?jīng)購買了，挖它出來干嘛?建模必須與實(shí)際銷售場景結(jié)合，要么找出自然轉(zhuǎn)化率高的用戶采取更低成本的接觸方式轉(zhuǎn)化，要么找出一批用戶施加營銷動作后較自然轉(zhuǎn)化大大提升!

誤區(qū)三：盲目使用、過度依賴訓(xùn)練集!訓(xùn)練集是個雙刃劍，正確使用能充分發(fā)揮技術(shù)算法的價值，而濫用則陷入誤區(qū)。前面說的某央企案例，其實(shí)訓(xùn)練那些模型并不困難，不就把各渠道成功下單用戶作為訓(xùn)練集嘛，掌握工具的新手都能做出來。訓(xùn)練集要與準(zhǔn)備施加的營銷動作一致的才有意義。訓(xùn)練集還要有代表性，譬如歷史的數(shù)據(jù)是和大客戶談妥對其所有員工批量轉(zhuǎn)化的，以這些數(shù)據(jù)為訓(xùn)練集就沒有任何意義。營銷場景初始往往沒有訓(xùn)練集，必須跳出“訓(xùn)練集”局限。

誤區(qū)四：要相關(guān)不要因果!《大數(shù)據(jù)時代》作者提出這個觀點(diǎn)的時候，其實(shí)并不是要放棄追求因果，而是找出相關(guān)關(guān)系后，更迫切的是接下來怎么做，因果關(guān)系可以慢慢研究。這一點(diǎn)被很多人誤讀，世間沒有無緣無故的愛，也沒有無緣無故的恨，兩個事物相關(guān)度很高，背后必定有一串的因果鏈條，如果找不到，那可能是因?yàn)橛?xùn)練集的問題導(dǎo)致偽相關(guān)，我們就要警惕了。

誤區(qū)五：過于迷信算法!大道至簡，有效的東西一定是簡單的。非要復(fù)雜，那一定是因?yàn)闆]找到或者沒掌握關(guān)聯(lián)度更高的原始數(shù)據(jù)。算法并不能解決所有問題，沒有好的數(shù)據(jù)基礎(chǔ)，它無能為力。建模涉及到很多關(guān)鍵要素，比拼的是綜合實(shí)力，在同等條件下，努力提升算法才是有意義的。

誤區(qū)六：盲目追求數(shù)據(jù)精度!高的精度意味著更高的成本，對應(yīng)更少的數(shù)據(jù)規(guī)模，如何取舍就要運(yùn)用“法”篇說的ROI原則了。

三、建模七術(shù)

1、場景驅(qū)動建模的第一件事情是搞清楚應(yīng)用場景，提煉賣點(diǎn)、利益點(diǎn)，哪些是能打動用戶的關(guān)鍵要素。從“命中目標(biāo)”和“命中營銷特性”這兩個方面去思考我們要找什么樣的用戶，匹配什么樣的關(guān)鍵特征。

2、迭代建模建模要用互聯(lián)網(wǎng)思維“小步快跑，快速迭代”，快速對消費(fèi)者需求做出反應(yīng)，否則數(shù)據(jù)會失去時效。因此我們應(yīng)從簡單開始入手，采用簡單算法快速輸出數(shù)據(jù)，后續(xù)在實(shí)戰(zhàn)中不斷檢驗(yàn)、修正、迭代優(yōu)化，不斷提升數(shù)據(jù)的精準(zhǔn)性。

3、場景還原確定業(yè)務(wù)目標(biāo)后，還原用戶的生活場景，設(shè)想用戶的需求場景，再考察數(shù)據(jù)能否關(guān)聯(lián)。理解生活，數(shù)據(jù)挖掘會很簡單。商業(yè)最終解決的是人們的物質(zhì)文化需求，你想挖掘什么樣的群體，先從生活中去理解它，它在什么場景下需要這些產(chǎn)品，有什么行為習(xí)慣，在我們的數(shù)據(jù)中留下了哪些蛛絲馬跡?譬如“外圍女”這個群體，你too simple對她們一無所知，就很難把她們找出來。為了挖掘“工業(yè)區(qū)人群”，我們特地組織前往廠區(qū)調(diào)研他們購買手機(jī)、上網(wǎng)、生活習(xí)慣等情況，為了挖掘“出租車司機(jī)”，我們打車的時候?qū)λ麄冞M(jìn)行了訪談。

五個方面理解還原

身份屬性：譬如商務(wù)精英消費(fèi)能力高使用Iphone手機(jī)比例高

狀態(tài)變化：譬如夜間位置變換，推測用戶搬家了有寬帶需求

行為表達(dá)：譬如在社交網(wǎng)絡(luò)、搜索引擎等互聯(lián)網(wǎng)上表達(dá)了對目標(biāo)商品的關(guān)注

習(xí)慣偏好：譬如喜歡日本料理、西餐廳的人群超60%使用Iphone手機(jī)

關(guān)系推測：譬如和快遞員交互的用戶，我們推測它是一個電商消費(fèi)者對于任何一個業(yè)務(wù)目標(biāo)，都可以從上述五個方面還原與業(yè)務(wù)目標(biāo)相關(guān)聯(lián)的場景，還原足夠多的場景，就可以挖掘出足夠規(guī)模的用戶數(shù)據(jù)。

4、找數(shù)據(jù)關(guān)聯(lián)還原出場景后，就要找數(shù)據(jù)進(jìn)行關(guān)聯(lián)。有些我們可以基于直接數(shù)據(jù)進(jìn)行輸出，沒有直接的數(shù)據(jù)，則找間接數(shù)據(jù)選取算法進(jìn)行推導(dǎo)，而間接數(shù)據(jù)的選取，可繼續(xù)應(yīng)用上述五個方面場景還原的方法。至于具體如何清洗數(shù)據(jù)、缺省異常值處理、算法選取、誤差分析等等那些實(shí)操細(xì)節(jié)，文章很多。

5、快速收斂建模是人與機(jī)器協(xié)作的結(jié)果，核心參與者是人，建模方向由人來確定，數(shù)據(jù)維度的選取主要是人(機(jī)器輔助驗(yàn)證)，算法也是人設(shè)計(jì)的，機(jī)器所起的所用是訓(xùn)練迭代，而機(jī)器儲存的數(shù)據(jù)相對人腦太單一，人對數(shù)據(jù)結(jié)果、應(yīng)用結(jié)果進(jìn)行解讀，及時輸入一些理解能加快收斂的速度。

6、少即是多挖掘的目標(biāo)不僅僅是“有需求”，而是“能轉(zhuǎn)化”，因?yàn)楹玫臓I銷場景、文案，能激發(fā)那些原來看起來沒有需求的用戶的購買欲望，而即使是有需求的用戶，如果不能直擊它的痛點(diǎn)、愉悅點(diǎn)，也難以轉(zhuǎn)化。好的模型應(yīng)盡量簡單，很多復(fù)雜規(guī)則的模型有可能命中率高，但實(shí)際營銷應(yīng)用的時候，往往難以與營銷特性相匹配，效果不一定好;而簡單模型特征明顯，全力聚焦用戶特性策劃營銷動作，更能引起用戶共鳴，產(chǎn)生興趣進(jìn)而購買。

7、高質(zhì)量的數(shù)據(jù)才是硬道理正是因?yàn)槲覀儧]有直接數(shù)據(jù)，所以我們只能找其它數(shù)據(jù)間接推導(dǎo)，如果我們掌握的數(shù)據(jù)與目標(biāo)關(guān)聯(lián)度很高，那么算法可以很簡單，否則無論算法多么的先進(jìn)，效果也是有一個瓶頸的。與其花大力氣建模，筆者更愿意前瞻性的解決數(shù)據(jù)源問題，收集更多更有效的數(shù)據(jù)。筆者更愿意當(dāng)一個數(shù)據(jù)架構(gòu)師，也一直自命數(shù)據(jù)架構(gòu)師。

最后總結(jié)一下，建模其實(shí)并不神秘，本質(zhì)上是讓數(shù)據(jù)產(chǎn)生新的數(shù)據(jù)。而建模關(guān)鍵是要還原用戶的生活場景，找準(zhǔn)方向，找到合適的數(shù)據(jù)關(guān)聯(lián)推導(dǎo)，快速校驗(yàn)迭代收斂。

來源：中國統(tǒng)計(jì)網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。