干貨來襲！以性別預(yù)測為例，談?wù)剶?shù)據(jù)挖掘中的分類問題

性別預(yù)測數(shù)據(jù)挖掘互聯(lián)網(wǎng)

王琪 | 2016-03-01 14:14

【數(shù)據(jù)猿導(dǎo)讀】互聯(lián)網(wǎng)的迅猛發(fā)展，催生了數(shù)據(jù)的爆炸式增長。面對(duì)海量的數(shù)據(jù)，如何挖掘數(shù)據(jù)的價(jià)值，成為一個(gè)越來越重要的問題。本文首先介紹數(shù)據(jù)挖掘的基本內(nèi)容，然后按照數(shù)據(jù)挖掘基本的處理流程，以性別預(yù)測實(shí)例來講解一個(gè)具體的數(shù)據(jù)挖掘任務(wù)是如何實(shí)現(xiàn)的

干貨來襲！以性別預(yù)測為例，談?wù)剶?shù)據(jù)挖掘中的分類問題

數(shù)據(jù)挖掘的基本內(nèi)容

數(shù)據(jù)挖掘是一種通過分析海量數(shù)據(jù)，從數(shù)據(jù)中提取潛在的但是非常有用的模式的技術(shù)。

數(shù)據(jù)挖掘任務(wù)可以分為預(yù)測性任務(wù)和描述性任務(wù)。預(yù)測性任務(wù)主要是預(yù)測可能出現(xiàn)的情況;描述性任務(wù)則是發(fā)現(xiàn)一些人類可以解釋的模式或規(guī)律。數(shù)據(jù)挖掘中比較常見的任務(wù)包括分類、聚類、關(guān)聯(lián)規(guī)則挖掘、時(shí)間序列挖掘、回歸等，其中分類、回歸屬于預(yù)測性任務(wù)，聚類、關(guān)聯(lián)規(guī)則挖掘、時(shí)間序列分析等則都是解釋性任務(wù)。

按照數(shù)據(jù)挖掘的基本流程，來談?wù)劮诸悊栴}

在簡單介紹了數(shù)據(jù)挖掘的基本內(nèi)容后，我們來切入主題。以數(shù)據(jù)挖掘的流程為主線，穿插性別預(yù)測的實(shí)例，來講解分類問題。根據(jù)經(jīng)典教科書和實(shí)際工作經(jīng)驗(yàn)來看，數(shù)據(jù)挖掘的基本流程主要包括五部分，首先是明確問題，第二是對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，第三是對(duì)數(shù)據(jù)進(jìn)行特征工程，轉(zhuǎn)化為問題所需要的特征，第四是根據(jù)問題的評(píng)價(jià)標(biāo)準(zhǔn)選擇最優(yōu)的模型和算法，最后將訓(xùn)練的模型用于實(shí)際生產(chǎn)，產(chǎn)出所需結(jié)果(如圖1所示)。

圖1 數(shù)據(jù)挖掘的基本流程

下面我們分別介紹各環(huán)節(jié)涉及的主要內(nèi)容：

1.明確問題和了解數(shù)據(jù)

這一環(huán)節(jié)最重要的是需求和數(shù)據(jù)的匹配。首先需要明確需求，有著怎樣的需求?是需要做分類、聚類、推薦還是其他?實(shí)際數(shù)據(jù)是否支持該需求?比如，分類問題需要有或者可以構(gòu)造出training set，如果沒有training set，就沒有辦法按照分類問題來解決。此外，數(shù)據(jù)的規(guī)模、重要feature的覆蓋度等，也是需要特別考慮的問題。

2.數(shù)據(jù)預(yù)處理

1)數(shù)據(jù)集成，數(shù)據(jù)冗余，數(shù)值沖突

數(shù)據(jù)挖掘中準(zhǔn)備數(shù)據(jù)的時(shí)候，需要盡可能地將相關(guān)數(shù)據(jù)集成在一起。如果集成的數(shù)據(jù)中，有兩列或多列值一樣，則不可避免地會(huì)產(chǎn)生數(shù)值沖突或數(shù)據(jù)冗余，可能需要根據(jù)數(shù)據(jù)的質(zhì)量來決定保留沖突中的哪一列。

2)數(shù)據(jù)采樣

一般來說，有效的采樣方式如下：如果樣本是有代表性的，則使用樣本數(shù)據(jù)和使用整個(gè)數(shù)據(jù)集的效果幾乎是一樣的。抽樣方法有很多，需要考慮是有放回的采樣，還是無放回的采樣，以及具體選擇哪種采樣方式。

3)數(shù)據(jù)清洗、缺失值處理與噪聲數(shù)據(jù)

現(xiàn)實(shí)世界中的數(shù)據(jù)，是真實(shí)的數(shù)據(jù)，不可避免地會(huì)存在各種各樣的異常情況。比如某列的值缺失，或者某列的值是異常的，所以，我們需要在數(shù)據(jù)預(yù)處理階段進(jìn)行數(shù)據(jù)清洗，來減少噪音數(shù)據(jù)對(duì)模型訓(xùn)練和預(yù)測結(jié)果的影響。

3.特征工程

數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。下面的觀點(diǎn)說明了特征工程的特點(diǎn)和重要性。

1)特征：對(duì)所需解決問題有用的屬性

特征是對(duì)你所需解決問題有用或者有意義的屬性。比如，在計(jì)算機(jī)視覺領(lǐng)域，圖片作為研究對(duì)象，可能圖片中的一個(gè)線條就是一個(gè)特征;在自然語言處理領(lǐng)域中，研究對(duì)象是文檔，文檔中的一個(gè)詞語的出現(xiàn)次數(shù)就是一個(gè)特征;在語音識(shí)別領(lǐng)域中，研究對(duì)象是一段話，phoneme(音位)可能就是一個(gè)特征。

2)特征的提取、選擇和構(gòu)造

既然特征是對(duì)我們所解決的問題最有用的屬性。首先我們需要處理的是根據(jù)原始數(shù)據(jù)抽取出所需要的特征。亟需注意的是，并不是所有的特征對(duì)所解決的問題產(chǎn)生的影響一樣大，有些特征可能對(duì)問題產(chǎn)生特別大的影響，但有些則可能影響甚微，和所解決的問題不相關(guān)的特征需要被剔除掉。因此，我們需要針對(duì)所解決的問題選擇最有用的特征集合，一般可以通過相關(guān)系數(shù)等方式來計(jì)算特征的重要性。當(dāng)然，有些模型本身會(huì)輸出feature重要性，如Random Forest等算法。而對(duì)于圖片、音頻等原始數(shù)據(jù)形態(tài)特別大的對(duì)象，則可能需要采用像PCA這樣的自動(dòng)降維技術(shù)。另外，還可能需要本人對(duì)數(shù)據(jù)和所需解決的問題有深入的理解，能夠通過特征組合等方法構(gòu)造出新的特征，這也正是特征工程被稱之為是一門藝術(shù)的原因之一。

實(shí)例講解(一)

接下來，我們通過一個(gè)性別預(yù)測的實(shí)例來說明數(shù)據(jù)挖掘處理流程中的“明確問題”、“數(shù)據(jù)預(yù)處理”和“特征工程”三個(gè)部分。

假設(shè)我們有如下兩種數(shù)據(jù)，想根據(jù)數(shù)據(jù)訓(xùn)練一個(gè)預(yù)測用戶性別的模型。

數(shù)據(jù)1：用戶使用App的行為數(shù)據(jù);

數(shù)據(jù)2：用戶瀏覽網(wǎng)頁的行為數(shù)據(jù);

第一步：明確問題

首先明確該問題屬于數(shù)據(jù)挖掘常見問題中的哪一類，是分類、聚類，推薦還是其他?假設(shè)本實(shí)例數(shù)據(jù)有部分?jǐn)?shù)據(jù)帶有男女性別，則該問題為分類問題;

數(shù)據(jù)集是否夠大?我們需要足夠大的數(shù)據(jù)來訓(xùn)練模型，如果數(shù)據(jù)集不夠大，那么所訓(xùn)練的模型和真實(shí)情況偏差會(huì)比較大;

數(shù)據(jù)是否滿足所解決問題的假設(shè)?統(tǒng)計(jì)發(fā)現(xiàn)男人和女人使用的App不太一致，瀏覽網(wǎng)頁的內(nèi)容也不太一致，則說明我們通過數(shù)據(jù)可以提取出對(duì)預(yù)測性別有用的特征，來幫助解決問題。如果根據(jù)數(shù)據(jù)提取不出有用的特征，那么針對(duì)當(dāng)前數(shù)據(jù)，問題是沒法處理的。

第二步：數(shù)據(jù)預(yù)處理

實(shí)際工作中，在數(shù)據(jù)預(yù)處理之前需要確定整個(gè)項(xiàng)目的編程語言(如Python、Java、 Scala)和開發(fā)工具(如Pig、Hive、Spark)。通常而言，編程語言和開發(fā)工具的選擇都依賴于所處的數(shù)據(jù)平臺(tái)環(huán)境;

選取多少數(shù)據(jù)做模型訓(xùn)練?這是常說的數(shù)據(jù)采樣問題。一般認(rèn)為采樣數(shù)據(jù)量越大，對(duì)所解決的任務(wù)幫助越大，但是數(shù)據(jù)量越大，計(jì)算代價(jià)也越大，因此，需要在解決問題的效果和計(jì)算代價(jià)之間折中一下;

把所有相關(guān)的數(shù)據(jù)聚合在一起，如果有相同字段則存在數(shù)據(jù)冗余的問題，需要根據(jù)數(shù)據(jù)的質(zhì)量剔除掉冗余的數(shù)據(jù);數(shù)據(jù)中可能存在異常值，則需要過濾掉;數(shù)據(jù)中可能有的值有缺失，則需要填充默認(rèn)值。

數(shù)據(jù)預(yù)處理后可能的結(jié)果(如表1、表2所示)：

表1 數(shù)據(jù)1預(yù)處理后結(jié)果

表2 數(shù)據(jù)2預(yù)處理后結(jié)果

第三步：特征工程

由于數(shù)據(jù)1和數(shù)據(jù)2的類型不太一樣，所以進(jìn)行特征工程時(shí)，所采用的方法也不太一樣，下面分別介紹一下：

數(shù)據(jù)1的單個(gè)特征的分析主要包括以下內(nèi)容：

數(shù)值型特征的處理，比如App的啟動(dòng)次數(shù)是個(gè)連續(xù)值，可以按照低、中、高三個(gè)檔次將啟動(dòng)次數(shù)分段成離散值;

類別型特征的處理，比如用戶使用的設(shè)備是三星或者聯(lián)想，這是一個(gè)類別特征，可以采用0-1編碼來處理;

需要考慮特征是否需要?dú)w一化。

數(shù)據(jù)1的多個(gè)特征的分析主要包括以下內(nèi)容：

使用的設(shè)備類型是否決定了性別?需要做相關(guān)性分析，通常計(jì)算相關(guān)系數(shù);

App的啟動(dòng)次數(shù)和停留時(shí)長是否完全正相關(guān)，結(jié)果表明特別相關(guān)，則說明App的停留時(shí)長是無用特征，將App的停留時(shí)長這個(gè)特征過濾掉;

如果特征太多，可能需要做降維處理。

2.數(shù)據(jù)2的特征工程

數(shù)據(jù)2是典型的文本數(shù)據(jù)，文本數(shù)據(jù)常用的處理步驟包含以下幾個(gè)部分：

網(wǎng)頁 → 分詞 → 去停用詞 → 向量化

分詞。可以采用Jieba分詞(Python庫)或張華平老師的ICTCLAS;

去除停用詞。停用詞表除了加入常規(guī)的停用詞外，還可以將DF(Document Frequency)比較高的詞加入停用詞表，作為領(lǐng)域停用詞;

向量化。一般是將文本轉(zhuǎn)化為TF或TF-IDF向量。

特征工程后數(shù)據(jù)1的結(jié)果(如表3所示，A1低表示啟動(dòng)App1的次數(shù)比較低，以此類推，is_hx表示設(shè)備是否是華為，Label為1表示Male)。

表3 數(shù)據(jù)1特征工程后結(jié)果

特征工程后數(shù)據(jù)2的結(jié)果(如表4所示，term1=5表示user1瀏覽的網(wǎng)頁中出現(xiàn)詞1的頻率，以此類推)。

表4 數(shù)據(jù)2特征工程后結(jié)果

第四步：算法和模型

做完特征工程后，下一步就是選擇合適的模型和算法。算法和模型的選擇主要考慮一下幾個(gè)方面：

訓(xùn)練集的大小;

特征的維度大小;

所解決問題是否是線性可分的;

所有的特征是獨(dú)立的嗎?

需要不需要考慮過擬合的問題;

對(duì)性能有哪些要求?

上面中提到的很多問題沒法直接回答，可能我們還是不知道該選擇哪種模型和算法，但是奧卡姆剃刀原理給出了模型和算法的選擇方法：

Occam’s Razorprinciple: use the least complicated algorithm that can address your needs and only go for something more complicated if strictly necessary.

來源：CSDN

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。