?

国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

數(shù)據(jù)預(yù)處理和挖掘究竟該怎么做?硅谷網(wǎng)紅告訴你

【數(shù)據(jù)猿導(dǎo)讀】 海量的原始數(shù)據(jù)正以驚人的速度增長,其中大部分都是非結(jié)構(gòu)化的,但是通過運(yùn)用分析我們可以發(fā)現(xiàn)其中重要的規(guī)律和線索以及隱藏在數(shù)字背后的含義。

數(shù)據(jù)預(yù)處理和挖掘究竟該怎么做?硅谷網(wǎng)紅告訴你

在這個(gè)充斥著懷疑和謊言的網(wǎng)絡(luò)世界中,數(shù)據(jù)即真相。海量的原始數(shù)據(jù)正以驚人的速度增長,其中大部分都是非結(jié)構(gòu)化的,但是通過運(yùn)用分析我們可以發(fā)現(xiàn)其中重要的規(guī)律和線索以及隱藏在數(shù)字背后的含義。今天我們將學(xué)習(xí)如何預(yù)處理數(shù)據(jù),這是重要也最容易忽視的步驟之一,關(guān)鍵點(diǎn)如下:

預(yù)處理數(shù)據(jù)集有三步:清洗、轉(zhuǎn)換和簡(jiǎn)化

深度學(xué)習(xí)可以自己從數(shù)據(jù)集中找到相關(guān)特征

PCA是常用的降維方法之一,可以通過Scikit-learn中模塊操作

數(shù)據(jù)預(yù)處理的三個(gè)核心步驟是:清洗,轉(zhuǎn)換,簡(jiǎn)化。

例子中的第一個(gè)數(shù)據(jù)集與音樂相關(guān),是通過一款名為“Tag A Tune”的小游戲搜集的(玩法請(qǐng)自行百度)。數(shù)據(jù)集里有25,000首歌以及正確的標(biāo)簽。我們想以此數(shù)據(jù)集作為一個(gè)訓(xùn)練樣本來建立一個(gè)可以區(qū)分歌曲所屬標(biāo)簽種類的模型。

先導(dǎo)入Pandas來分析這個(gè)數(shù)據(jù),通過讀取CSV函數(shù)來導(dǎo)入數(shù)據(jù),它將在pandas中創(chuàng)建一個(gè)數(shù)據(jù)框。這個(gè)數(shù)據(jù)框很容易修改,我們將它命名為newdata。將head函數(shù)中參數(shù)設(shè)置為5,可以顯示數(shù)據(jù)的頭5條記錄。每一行都被排了序,每首歌都有一個(gè)id,每個(gè)標(biāo)簽的值為0或者1,代表這首歌是否有這個(gè)標(biāo)簽。

數(shù)據(jù)預(yù)處理和挖掘究竟該怎么做?硅谷網(wǎng)紅告訴你-1

通過info()函數(shù)來獲取關(guān)于數(shù)據(jù)的更多信息,數(shù)據(jù)大小只有38MB。每個(gè)標(biāo)簽都有一個(gè)簡(jiǎn)單的二元取值,幸運(yùn)的是每個(gè)字段也沒有空值,可以直奔第二步:數(shù)據(jù)轉(zhuǎn)換。

很多標(biāo)簽聽上去很類似,例如女歌手,女聲,可以將它們統(tǒng)一歸為一個(gè)特征”女“。我們可以為數(shù)據(jù)中的同義詞創(chuàng)建一個(gè)二維列表,然后將它們合并到只剩第一列。對(duì)于列表中的每一組同義詞,將每一特征的最大值保留下來。對(duì)于數(shù)據(jù)中的同義詞,可以有效地把一組同義詞合并為一列,然后刪掉其他類似的詞,這樣可以得到更規(guī)范的特征。在數(shù)據(jù)簡(jiǎn)化過程中,我們可以刪除那些不需要的信息。接下來我們可以準(zhǔn)備模型用到的訓(xùn)練集和測(cè)試集。

有一點(diǎn)需要注意,在整個(gè)過程中我們并沒有考慮哪些特征要用,哪些不用。在沒有深度學(xué)習(xí)的時(shí)候,我們需要先選擇合適的特征來喂一個(gè)模型。但是深度學(xué)習(xí)不需要我們?cè)僮孕泻Y選特征了,它會(huì)根據(jù)我們放入模型的數(shù)據(jù)集,決定哪些與問題相關(guān)。在深度學(xué)習(xí)中,常說架構(gòu)工程是新的特征工程。

第二個(gè)例子中的數(shù)據(jù)集是關(guān)于網(wǎng)絡(luò)連接,網(wǎng)絡(luò)連接要么正常,要么異常。異常連接是由于有入侵導(dǎo)致。我們想通過一系列特征判定網(wǎng)絡(luò)連接正?;虍惓?。當(dāng)我們檢查該數(shù)據(jù)的時(shí)候,數(shù)據(jù)中沒有空值,也沒有異常值。因此,可以直接跳過清理數(shù)據(jù)一步,直接進(jìn)行數(shù)據(jù)轉(zhuǎn)換。

數(shù)據(jù)預(yù)處理和挖掘究竟該怎么做?硅谷網(wǎng)紅告訴你-2

數(shù)據(jù)集中數(shù)值型變量的范圍差異較大,需要先將這些變量進(jìn)行標(biāo)準(zhǔn)化,可以直接用Scikit-learn里面的Standard Scaler模塊對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化完畢后,接下來對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)化。數(shù)據(jù)中包含很多字段,其中有相當(dāng)一部分還是高度相關(guān)的。我們可以通過“降維”的方法將特征的總數(shù)減少,這樣也有利于將數(shù)據(jù)在2D或3D的空間中展示,但這并不保證模型的結(jié)果將更精準(zhǔn),只是讓我們的數(shù)據(jù)更容易理解。

數(shù)據(jù)預(yù)處理和挖掘究竟該怎么做?硅谷網(wǎng)紅告訴你-3

一種降維的方法是PCA(Principal Component Analysis)。數(shù)據(jù)有諸多特征,縮減它們只需要三步:首先是將數(shù)據(jù)標(biāo)準(zhǔn)化,然后計(jì)算相關(guān)系數(shù)矩陣,算出特征值和特征向量后進(jìn)行主成分排名。例如我們有四個(gè)特征,想通過PCA的方法將其減少至兩個(gè),一共5個(gè)步驟:

將數(shù)據(jù)標(biāo)準(zhǔn)化

計(jì)算協(xié)方差矩陣

特征分解(Eigen decomposition)

構(gòu)成新投影矩陣(Projection Matrix)

通過這個(gè)矩陣來對(duì)原來數(shù)據(jù)進(jìn)行轉(zhuǎn)換

許多入門教程在導(dǎo)入數(shù)據(jù)時(shí)只教如何導(dǎo)入預(yù)處理過的數(shù)據(jù),例如手寫體數(shù)字或者電影評(píng)分?jǐn)?shù)據(jù),用一行代碼就能搞定,但實(shí)際操作沒那么簡(jiǎn)單。遇到實(shí)際問題,都需要先找到正確的數(shù)據(jù)集,最終預(yù)測(cè)的結(jié)論依賴于最初導(dǎo)入的數(shù)據(jù)。所謂:種瓜得瓜,種豆得豆。

Siraj Raval 何許人也 

Siraj Raval 是 YouTube 極客網(wǎng)紅,曾任職于 Twilio 和 Meetup,客戶包括 Elon Mask 和 Google,教大家如何使用機(jī)器學(xué)習(xí)開發(fā)聊天機(jī)器人、無人駕駛車、AI 藝術(shù)家等視頻點(diǎn)擊量累計(jì)數(shù)百萬。

Siraj Raval 為什么這么火 

首先,當(dāng)然是這位哥倫比亞大學(xué)高材生活兒好技術(shù)好,用自己特有的方式三言兩語就能拋出一個(gè)原本晦澀的 ML、DL 概念,讓聽眾細(xì)細(xì)咀嚼。再者,這家伙幽默逗比、口才便給。興之所至常手舞足蹈,瞳仁奇光掩映,口吐智慧蓮華。深度學(xué)習(xí)講師不少,但這么風(fēng)趣可親的卻不多。


來源:36大數(shù)據(jù)

聲明:數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范,相關(guān)內(nèi)容都會(huì)注明來源與作者;轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí),也請(qǐng)務(wù)必注明“來源:數(shù)據(jù)猿”與作者名稱,否則將會(huì)受到數(shù)據(jù)猿追責(zé)。

刷新相關(guān)文章

我要評(píng)論

返回頂部