以什么姿勢進(jìn)入DataMining會少走彎路？

DataMining 大數(shù)據(jù) 數(shù)據(jù)分析

汪榕 | 2016-05-10 15:20

【數(shù)據(jù)猿導(dǎo)讀】大數(shù)據(jù)時代早已經(jīng)來臨，很多年輕人急著鬧著想要躋身于大數(shù)據(jù)行業(yè)，不免也有一些不得志的中年人。自然而然的會報各種培訓(xùn)班，理所當(dāng)然認(rèn)為付出總有一天會賺回來的。但卻走了不少彎路，花了不少錢。倘若在我寫的文章中，能有所啟發(fā)和收獲，希望諸位能夠以恰當(dāng)?shù)淖藙葸M(jìn)入DataMining吧...

畫外音：看過身邊花1w+大洋報培訓(xùn)班，周末夜里堅持學(xué)習(xí)的同學(xué);面過碩士、博士甚至留學(xué)交換生，但結(jié)果總不盡如人意;現(xiàn)如今堪比前端一樣渾濁的算法領(lǐng)域，讓人擔(dān)憂。

承認(rèn)一點，每個人都在進(jìn)步，每個人都走過彎路，曾幾某時，自己也一腔熱血的寫過一篇文章，后來分享了出來神愛眾人，于是帶來Python 。目前來看，那篇文章寫得并不好，感興趣的可以去看看。

前不久，給公司同事做算法培訓(xùn)時候，說了自己在算法領(lǐng)域的四點信仰，可以和看官一起分享：

信仰1：不以具體業(yè)務(wù)場景出發(fā)，不考慮大數(shù)據(jù)并發(fā)實現(xiàn)的數(shù)據(jù)挖掘，都在耍流氓;

信仰2：知其然，曉其所以然，萬變不離其宗，必定變化莫測，這正是算法魅力;

信仰3：在DataMining領(lǐng)域，不做兩種人。一種是工具人，一種是研究者;

信仰4：擁有健康、豐滿的數(shù)據(jù)，業(yè)務(wù)場景建模已經(jīng)成功90%以上了;

余下的內(nèi)容，也將對上面四點分別做闡述，附帶案例說明：

學(xué)會考慮業(yè)務(wù)場景建模，多思考大數(shù)據(jù)并發(fā)下的實現(xiàn)：

案例1：一些網(wǎng)絡(luò)授課，每當(dāng)提起分類算法，最常用的典型二分類是男性和女性判別?

a.普遍的講解流程，介紹各種分類算法，DT、LR、NB和SVM等等;

b.接下來，考慮用戶一些基礎(chǔ)的網(wǎng)站行為數(shù)據(jù)，平均訪問時長、nick、瀏覽page、每日pv等等;

c.最后，帶入數(shù)據(jù)，套用模型，個別還會考慮清洗數(shù)據(jù)，一切就Over;

一堂簡單網(wǎng)絡(luò)授課，也許不能面面俱到，但也絕對不能錯誤的引導(dǎo)DM(數(shù)據(jù)挖掘)的核心要領(lǐng)。

比如：

讓學(xué)習(xí)者認(rèn)為算法是整個數(shù)據(jù)挖掘的核心?數(shù)據(jù)挖掘就是隨便找到數(shù)據(jù)套用模型，甚至工具包就OK了?

很多很多不恰當(dāng)?shù)乃枷牍噍?，正是讓現(xiàn)如今算法行業(yè)魚龍混雜，我也不是批判者，也不是熬雞湯人。我會這樣簡單去介紹，二分類場景下的男性和女性判別：

Step1：Where 在哪個行業(yè)下的用戶性別判斷的場景需求?(比如：電商行業(yè))

Step2：Why 需要去分析用戶性別?(現(xiàn)如今，在資金有限的情況下[廣告費，站外流量和短信等等]，精準(zhǔn)化營銷的需求越來越強(qiáng)烈，同時用戶體驗也會是至關(guān)重要，如何做到千人千面?如何提高整個平臺，或者商家店鋪的成交轉(zhuǎn)化率、用戶回購率和用戶粘度?甚至如何給每個用戶展示他所想看到的寶貝詳情頁?這些的這些，都是需要對用戶，乃至店鋪、商品和品牌進(jìn)行畫像，構(gòu)建標(biāo)簽體系，其中就包括用戶性別!)

Step3：What 如何去分析用戶性別?(在數(shù)據(jù)挖掘中，特征選取不當(dāng)，模型構(gòu)建不當(dāng)，都會容易引起[欠擬合]和[過擬合]，因此在電商行業(yè)的用戶性別分析，首先明確一個概念區(qū)別(用戶網(wǎng)站性別和用戶線下性別)，顧名思義，一個是用戶真實性別，一個是用戶在網(wǎng)站的行為性別，而真正對我們有意義的，當(dāng)然是后者。因此，在考慮用戶性別分析特征時，核心要素是考慮用戶在平臺購買過的類目行為(每款商品在設(shè)計之初，都會明確目標(biāo)群體)。

但是，畢竟會存在很多用戶是新用戶，這也正是模型的冷啟動問題。如果你認(rèn)為算法是最厲害的，到這里，你會無能為力;但如果你夠了解業(yè)務(wù)，了解數(shù)據(jù)，你會觀察到用戶的收貨姓名(但，注意，經(jīng)驗表明，每一個電商購物用戶，都可能會存在多個收貨姓名 ? 甚至存在非姓名的收貨姓名?剩下深入的細(xì)節(jié)，需要建模之處進(jìn)行合理把控的)

Step4：When 什么時候去分析用戶?(通過上面的分析，想必已經(jīng)夠清楚了，模型構(gòu)建一定要場景化，也必然場景細(xì)分，也有就用戶細(xì)分!這里主要分三類，a.新用戶，b.購買行為數(shù)在一定范圍內(nèi)?c.高頻購買行為用戶?

Step5：How 去分析用戶性別?(整個二分類場景，模型被我放在最后，希望學(xué)習(xí)數(shù)據(jù)挖掘的同學(xué)，對于業(yè)務(wù)和算法的分量，要在心目中有分寸。這里會考慮冷啟動模型、分類算法(比如樸素貝葉斯)和符號模型的組合。這里灌輸一個思想：模型 != 單算法，而是由多算法+一系列規(guī)則邏輯組合而成)

總結(jié)：一堂課程，還是花了很多培訓(xùn)費，即使不能闡述太多，但我想，如果通過上述方式，會不會更恰當(dāng)呢?

案例2：很多學(xué)者不考慮大數(shù)據(jù)并發(fā)的實現(xiàn)，玩習(xí)慣性的單機(jī)版時間久了，很難走出這道坎。比如很多人用協(xié)同過濾，考慮過大數(shù)據(jù)量下大矩陣相乘的實現(xiàn)?(PS：這里不擴(kuò)展了，否則又是一篇文章，如果感興趣，可以反饋，后期會繼續(xù)補(bǔ)上《一種新思想去解決大矩陣相乘》)

知其然，曉其所以然，萬變不離其宗，必定變化莫測:

案例3：很多使用算法，甚至數(shù)據(jù)清洗方式的同學(xué)，更多是將知道的方法組合在一起，認(rèn)為這就是數(shù)據(jù)挖掘?

我想，這也許還是網(wǎng)絡(luò)課程給學(xué)習(xí)者帶來的詬病吧!

因為課程上已經(jīng)千篇一律的講述了數(shù)據(jù)挖掘的流程體系，所以學(xué)習(xí)者都會這樣做：

a.業(yè)務(wù)場景需求出現(xiàn)：不假思索就采取能想到的特征變量;

b.不考慮數(shù)據(jù)清洗，不考慮歸一化，無量綱化處理，甚至異常和缺失值，就直接進(jìn)入模型;

c.不了解具體某一個算法的原理性，一味的用各種工具包，甚至扯上了Spark，R，Mahout 和python等等，輸入數(shù)據(jù)就OK了;

......很多很多，畢竟我不是批判者，我只是希望大家能夠做一件正確的事，再正確做好這件事!

如果換做我，我會這樣思考!

Step1：業(yè)務(wù)需求出現(xiàn)時，多向?qū)I(yè)運營人員了解業(yè)務(wù)背景，結(jié)合自己理解，確定初步的特征變量，觀察數(shù)據(jù)分布;

Step2：考慮異常值和缺失值處理(這些都是觀察數(shù)據(jù)找到的思路)，甚至結(jié)合數(shù)據(jù)分布，采取合適的無量綱化處理方式，甚至一定程度上降維;

Step3：結(jié)合業(yè)務(wù)場景建模，用戶群體細(xì)分，確定模型選擇，以及所選算法，比如NB(樸素貝葉斯)。

Step4：需要深入了解樸素貝葉斯的原理，知道優(yōu)勢和不足，甚至優(yōu)化方向(比如：取Log、加平滑曲線等)

總結(jié)：這里只是一個大概的思路，如果課堂時間允許情況下，用具體二分類(性別判別)的案例分析流程，這樣學(xué)生能夠領(lǐng)悟到更透徹。而不是一味的就那幾步數(shù)據(jù)挖掘步驟!

在DataMining領(lǐng)域，不做兩種人。一種是工具人，一種是研究者:

做數(shù)據(jù)挖掘，如果真正熱愛這個行業(yè)，并希望落實想法，不推薦大家做以上兩類人，工具人和研究者。

工具人：面試過很多人，(這里談離線批處理)基本都是Python(很多面試者被豆瓣電影評分的案例害得不淺啊!)，很多一味追潮流，也整一個Spark來調(diào)包，認(rèn)為就是懂?dāng)?shù)據(jù)挖掘了，甚至Mahout和R等等;

PS：我曾經(jīng)反問一位面試者，如果讓你招人，你會愿意選擇，只會用包，缺乏思考怎么去用?為什么這樣用?甚至如何改進(jìn)和組合的人? 顯而易見，面試者的答案是不會招這樣的人!

我這里不是批判工具如何不好，曾經(jīng)大學(xué)，我也只是會用Matlab、Spss，甚至Lingo。畢業(yè)初期，也只是會用Python和R等。我主要說的是，優(yōu)秀的模型，不單單是某一個算法能夠解決的，其中還包括很多組合算法和邏輯規(guī)則。單獨的使用工具，結(jié)合業(yè)務(wù)的個性化需求會得不到很好滿足，甚至如果讓你調(diào)優(yōu)算法，一方面你缺乏算法原理的理解，另一方面，你修改源碼的也會很費腦、費神啊!

總結(jié)：技術(shù)沒什么吸引人的，它的魅力在于服務(wù)業(yè)務(wù)，通過業(yè)務(wù)發(fā)展來驅(qū)動技術(shù)提高。這里推薦MapReduce!

研究者這類人，不過多討論，畢竟這個社會是需要這樣一類人存在的，我也很佩服他們。我前面說的前提是，如果真正熱愛大數(shù)據(jù)下的數(shù)據(jù)挖掘，并落實想法，還是直接作為一個實踐者吧!

擁有健康、豐滿的數(shù)據(jù)，業(yè)務(wù)場景建模已經(jīng)成功90%以上了：

越到最后，闡述的理由會更少。因為，該說的都已經(jīng)說了!只想勸各位數(shù)據(jù)挖掘愛好者、實踐者或工作者.好的模型，不是用了如此NB的算法模型，而是優(yōu)秀的泛化能力，而具備泛化能力的模型，缺乏良好的數(shù)據(jù)源，會是一棵長不大的樹苗的;

Google的阿法狗如此厲害，和它完備、真實和健康的數(shù)據(jù)源密不可分的!

來源：數(shù)據(jù)觀

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。