機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：Python信用卡欺詐檢測(cè)

機(jī)器學(xué)習(xí) python 信用卡欺詐

數(shù)據(jù)先鋒 | 2017-08-30 10:59

【數(shù)據(jù)猿導(dǎo)讀】對(duì)信用卡交易數(shù)據(jù)建立檢測(cè)模型，使用Python庫進(jìn)行預(yù)處理與機(jī)器學(xué)習(xí)建模工作，代碼通俗易懂。包括數(shù)據(jù)預(yù)處理與清洗，模型調(diào)參與評(píng)估等詳細(xì)數(shù)據(jù)分析與建模流程

機(jī)器學(xué)習(xí)實(shí)戰(zhàn)：Python信用卡欺詐檢測(cè)

來源：數(shù)據(jù)猿作者：數(shù)據(jù)先鋒唐宇迪

【先鋒導(dǎo)讀】對(duì)信用卡交易數(shù)據(jù)建立檢測(cè)模型，使用Python庫進(jìn)行預(yù)處理與機(jī)器學(xué)習(xí)建模工作，代碼通俗易懂。包括數(shù)據(jù)預(yù)處理與清洗，模型調(diào)參與評(píng)估等詳細(xì)數(shù)據(jù)分析與建模流程。

故事背景與Python環(huán)境

故事背景：原始數(shù)據(jù)為個(gè)人交易記錄，但是考慮數(shù)據(jù)本身的隱私性，已經(jīng)對(duì)原始數(shù)據(jù)進(jìn)行了類似PCA的處理，現(xiàn)在已經(jīng)把特征數(shù)據(jù)提取好了，接下來的目的就是如何建立模型使得檢測(cè)的效果達(dá)到最好，這里我們雖然不需要對(duì)數(shù)據(jù)做特征提取的操作，但是面對(duì)的挑戰(zhàn)還是蠻大的。

數(shù)據(jù)分析與建模可不是體力活，時(shí)間就是金錢我的朋友（魔獸玩家都懂的?。┤绻阌肞ython來把玩數(shù)據(jù)，那么這些就是你的核武器啦。簡(jiǎn)單介紹一下這幾位朋友！
Numpy-科學(xué)計(jì)算庫 主要用來做矩陣運(yùn)算，什么？你不知道哪里會(huì)用到矩陣，那么這樣想吧，咱們的數(shù)據(jù)就是行（樣本）和列（特征）組成的，那么數(shù)據(jù)本身不就是一個(gè)矩陣嘛。
Pandas-數(shù)據(jù)分析處理庫 很多小伙伴都在說用Python處理數(shù)據(jù)很容易，那么容易在哪呢？其實(shí)有了pandas很復(fù)雜的操作我們也可以一行代碼去解決掉！
Matplotlib-可視化庫 無論是分析還是建模，光靠好記性可不行，很有必要把結(jié)果和過程可視化的展示出來。
Scikit-Learn-機(jī)器學(xué)習(xí)庫 非常實(shí)用的機(jī)器學(xué)習(xí)算法庫，這里面包含了基本你覺得你能用上所有機(jī)器學(xué)習(xí)算法啦。但還遠(yuǎn)不止如此，還有很多預(yù)處理和評(píng)估的模塊等你來挖掘的！

首先我們用pandas將數(shù)據(jù)讀進(jìn)來并顯示最開始的5行，看見木有！用pandas讀取數(shù)據(jù)就是這么簡(jiǎn)單！這里的數(shù)據(jù)為了考慮用戶隱私等，已經(jīng)通過PCA處理過了，現(xiàn)在大家只需要把數(shù)據(jù)當(dāng)成是處理好的特征就好啦?。〝?shù)據(jù)和代碼下載見文末）

機(jī)器學(xué)習(xí)_python_信用卡欺詐-1

數(shù)據(jù)分析

接下來我們核心的目的就是去檢測(cè)在數(shù)據(jù)樣本中哪些是具有欺詐行為的！

機(jī)器學(xué)習(xí)_python_信用卡欺詐-2

機(jī)器學(xué)習(xí)_python_信用卡欺詐-3

千萬不要著急去用機(jī)器學(xué)習(xí)算法建模做這個(gè)分類問題。首先我們來觀察一下數(shù)據(jù)的分布情況，在數(shù)據(jù)樣本中有明確的label列指定了class為0代表正常情況，class為1代表發(fā)生了欺詐行為的樣本。從上圖中可以看出來。。。等等，你不是說有兩種情況嗎，為啥圖上只有class為0的樣本??？再仔細(xì)看看，納尼。。。class為1的并不是木有，而是太少了，少到基本看不出來了，那么此時(shí)我們面對(duì)一個(gè)新的挑戰(zhàn)，樣本極度不均衡，接下來我們首先要解決這個(gè)問題，這個(gè)很常見也是很頭疼的問題。

這里我們提出兩種解決方案 也是數(shù)據(jù)分析中最常用的兩種方法，下采樣和過采樣！

先挑個(gè)軟柿子捏，下采樣比較簡(jiǎn)單實(shí)現(xiàn)，咱們就先搞定第一種方案！下采樣的意思就是說，不是兩類數(shù)據(jù)不均衡嗎，那我讓你們同樣少（也就是1有多少個(gè) 0就消減成多少個(gè)），這樣不就均衡了嗎。

很簡(jiǎn)單的實(shí)現(xiàn)方法，在屬于0的數(shù)據(jù)中，進(jìn)行隨機(jī)的選擇，就選跟class為1的那類樣本一樣多就好了，那么現(xiàn)在我們已經(jīng)得到了兩組都是非常少的數(shù)據(jù)，接下來就可以建模啦！不過在建立任何一個(gè)機(jī)器學(xué)習(xí)模型之前不要忘了一個(gè)常規(guī)的操作，就是要把數(shù)據(jù)集切分成訓(xùn)練集和測(cè)試集，這樣會(huì)使得后續(xù)驗(yàn)證的結(jié)果更為靠譜。

在訓(xùn)練邏輯回歸的模型中做了一件非常常規(guī)的事情，就是對(duì)于一個(gè)模型，咱們?cè)龠x擇一個(gè)算法的時(shí)候伴隨著很多的參數(shù)要調(diào)節(jié)，那么如何找到最合適的參數(shù)可不是一件簡(jiǎn)單的事，依靠經(jīng)驗(yàn)值并不是十分靠譜，通常情況下我們需要大量的實(shí)驗(yàn)也就是不斷去嘗試最終得出這些合適的參數(shù)。（代碼有些長(zhǎng)就不貼了，建議直接看源碼）

邏輯回歸模型

萬能的邏輯回歸，解決分類問題的最佳算法

在使用機(jī)器學(xué)習(xí)算法的時(shí)候，很重要的一部就是參數(shù)的調(diào)節(jié)，在這里我們選擇使用最經(jīng)典的分類算法，邏輯回歸！千萬別把邏輯回歸當(dāng)成是回歸算法，它就是最實(shí)用的二分類算法！這里我們需要考慮的c參數(shù)就是正則化懲罰項(xiàng)的力度，那么如何選擇到最好的參數(shù)呢？這里我們就需要交叉驗(yàn)證啦，然后用不同的C參數(shù)去跑相同的數(shù)據(jù)，目的就是去看看啥樣的C參數(shù)能夠使得最終模型的效果最好！可以到不同的參數(shù)對(duì)最終的結(jié)果產(chǎn)生的影響還是蠻大的，這里最好的方法就是用驗(yàn)證集去尋找了！

模型已經(jīng)造出來了，那么怎么評(píng)判哪個(gè)模型好，哪個(gè)模型不好呢？我們這里需要好好想一想！

一般都是用精度來衡量，也就是常說的準(zhǔn)確率，但是我們來想一想，我們的目的是什么呢？是不是要檢測(cè)出來那些異常的樣本呀！換個(gè)例子來說，假如現(xiàn)在醫(yī)院給了我們一個(gè)任務(wù)要檢測(cè)出來1000個(gè)病人中，有癌癥的那些人。那么假設(shè)數(shù)據(jù)集中1000個(gè)人中有990個(gè)無癌癥，只有10個(gè)有癌癥，我們需要把這10個(gè)人檢測(cè)出來。假設(shè)我們用精度來衡量，那么即便這10個(gè)人沒檢測(cè)出來，也是有 990/1000 也就是99%的精度，但是這個(gè)模型卻沒任何價(jià)值！這點(diǎn)是非常重要的，因?yàn)椴煌脑u(píng)估方法會(huì)得出不同的答案，一定要根據(jù)問題的本質(zhì)，去選擇最合適的評(píng)估方法。

同樣的道理，這里我們采用recall來計(jì)算模型的好壞，也就是說那些異常的樣本我們的檢測(cè)到了多少，這也是咱們最初的目的！這里通常用混淆矩陣來展示。

機(jī)器學(xué)習(xí)_python_信用卡欺詐-4

這個(gè)圖就非常漂亮了?。ú⒉皇钦f畫的好而是展示的很直接）從圖中可以清晰的看到原始數(shù)據(jù)中樣本的分布以及我們的模型的預(yù)測(cè)結(jié)果，那么recall是怎么算出來的呢？就是用我們的檢測(cè)到的個(gè)數(shù)（137）去除以總共異常樣本的個(gè)數(shù)（10+137），用這個(gè)數(shù)值來去評(píng)估我們的模型。利用混淆矩陣我們可以很直觀的考察模型的精度以及recall，也是非常推薦大家在評(píng)估模型的時(shí)候不妨把這個(gè)圖亮出來可以幫助咱們很直觀的看清楚現(xiàn)在模型的效果以及存在的問題。

機(jī)器學(xué)習(xí)_python_信用卡欺詐-5

這可還木有完事，我們剛才只是在下采樣的數(shù)據(jù)集中去進(jìn)行測(cè)試的，那么這份測(cè)試還不能完全可信，因?yàn)樗⒉皇窃嫉臏y(cè)試集，我們需要在原始的，大量的測(cè)試集中再次去衡量當(dāng)前模型的效果?？梢钥吹叫Ч鋵?shí)還不錯(cuò)，但是哪塊有些問題呢，是不是我們誤殺了很多呀，有些樣本并不是異常的，但是并我們錯(cuò)誤的當(dāng)成了異常的，這個(gè)現(xiàn)象其實(shí)就是下采樣策略本身的一個(gè)缺陷。

對(duì)于邏輯回歸算法來說，我們還可以指定這樣一個(gè)閾值，也就是說最終結(jié)果的概率是大于多少我們把它當(dāng)成是正或者負(fù)樣本。不用的閾值會(huì)對(duì)結(jié)果產(chǎn)生很大的影響。

機(jī)器學(xué)習(xí)_python_信用卡欺詐-6

上圖中我們可以看到不用的閾值產(chǎn)生的影響還是蠻大的，閾值較小，意味著我們的模型非常嚴(yán)格寧肯錯(cuò)殺也不肯放過，這樣會(huì)使得絕大多數(shù)樣本都被當(dāng)成了異常的樣本，recall很高，精度稍低 當(dāng)閾值較大的時(shí)候我們的模型就稍微寬松些啦，這個(gè)時(shí)候會(huì)導(dǎo)致recall很低，精度稍高，綜上當(dāng)我們使用邏輯回歸算法的時(shí)候，還需要根據(jù)實(shí)際的應(yīng)用場(chǎng)景來選擇一個(gè)最恰當(dāng)?shù)拈撝担?/p>

過采樣數(shù)據(jù)生成策略

SMOTE算法生成大量異常數(shù)據(jù)

說完了下采樣策略，我們繼續(xù)嘮一下過采樣策略，跟下采樣相反，現(xiàn)在咱們的策略是要讓class為0和1的樣本一樣多，也就是我們需要去進(jìn)行數(shù)據(jù)的生成啦。

SMOTE算法是用的非常廣泛的數(shù)據(jù)生成策略，流程可以參考上圖，還是非常簡(jiǎn)單的，下面我們使用現(xiàn)成的庫來幫助我們完成過采樣數(shù)據(jù)生成策略。

算法流程如下：

(1)對(duì)于少數(shù)類中每一個(gè)樣本x，以歐氏距離為標(biāo)準(zhǔn)計(jì)算它到少數(shù)類樣本集中所有樣本的距離，得到其k近鄰。
(2)根據(jù)樣本不平衡比例設(shè)置一個(gè)采樣比例以確定采樣倍率N，對(duì)于每一個(gè)少數(shù)類樣本x，從其k近鄰中隨機(jī)選擇若干個(gè)樣本，假設(shè)選擇的近鄰為xn。
(3)對(duì)于每一個(gè)隨機(jī)選出的近鄰xn，分別與原樣本按照如下的公式構(gòu)建新的樣本。

機(jī)器學(xué)習(xí)_python_信用卡欺詐-8

很簡(jiǎn)單的幾步操作我們就完成過采樣策略，那么現(xiàn)在正負(fù)樣本就是一樣多的啦，都有那么20多W個(gè)，現(xiàn)在我們?cè)偻ㄟ^混淆矩陣來看一下，邏輯回歸應(yīng)用于過采樣樣本的效果。數(shù)據(jù)增強(qiáng)的應(yīng)用面已經(jīng)非常廣了，對(duì)于很多機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)問題，這已經(jīng)成為了一個(gè)常規(guī)套路啦！

機(jī)器學(xué)習(xí)_python_信用卡欺詐-9

我們對(duì)比一下下采樣和過采樣的效果，可以說recall的效果都不錯(cuò)，都可以檢測(cè)到異常樣本，但是下采樣是不是誤殺的比較少呀，所以如果我們可以進(jìn)行數(shù)據(jù)生成，那么在處理樣本數(shù)據(jù)不均衡的情況下，過采樣是一個(gè)可以嘗試的方案！

總結(jié)：對(duì)于一個(gè)機(jī)器學(xué)習(xí)案例來說，一份數(shù)據(jù)肯定伴隨著很多的挑戰(zhàn)和問題，那么最為重要的就是我們?cè)撛趺唇鉀Q這一系列的問題，大牛們不見得代碼寫的比咱們強(qiáng)但是他們卻很清楚如何去解決問題。今天咱們講述了一個(gè)以檢測(cè)任務(wù)為背景的案例，其中涉及到如何處理樣本不均衡問題，以及模型評(píng)估選擇的方法，最后給出了邏輯回歸在不用閾值下的結(jié)果。這里也是希望同學(xué)們可以通過案例多多積攢經(jīng)驗(yàn)，早日成為大牛。

注：

本文由 數(shù)據(jù)先鋒 投稿數(shù)據(jù)猿發(fā)布，了解更多機(jī)器學(xué)習(xí)實(shí)戰(zhàn)內(nèi)容（數(shù)據(jù)代碼）可請(qǐng)關(guān)注數(shù)據(jù)先鋒公眾號(hào)（data_pioneer）

歡迎更多大數(shù)據(jù)企業(yè)、愛好者投稿數(shù)據(jù)猿，來稿請(qǐng)直接投遞至：tougao@datayuan.cn

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。