2017年度：15個(gè)最好的數(shù)據(jù)科學(xué)領(lǐng)域Python庫

2017年數(shù)據(jù) 科學(xué) Python庫

36大數(shù)據(jù) | 2017-06-23 17:43

【數(shù)據(jù)猿導(dǎo)讀】盡管Python在數(shù)據(jù)科學(xué)領(lǐng)域在近些年已經(jīng)吸引了很多注意力，我們想要基于我們的經(jīng)驗(yàn)，大概描述一下數(shù)據(jù)科學(xué)家和工程師最常用的也是最有用的Python庫。

2017年度：15個(gè)最好的數(shù)據(jù)科學(xué)領(lǐng)域Python庫

盡管Python在數(shù)據(jù)科學(xué)領(lǐng)域在近些年已經(jīng)吸引了很多注意力，我們想要基于我們的經(jīng)驗(yàn)，大概描述一下數(shù)據(jù)科學(xué)家和工程師最常用的也是最有用的Python庫。

核心庫

1、Numpy

當(dāng)開始嘗試用Python解決科學(xué)任務(wù)時(shí)，我們不可避免會(huì)求助于Python的SciPy Stack，Scipy Stack是一個(gè)專門為在Python上進(jìn)行科學(xué)計(jì)算的軟件的集合(不要為SciPy包而困惑，那只是這個(gè)Stack的一個(gè)子集和圍繞這個(gè)Stack的社區(qū))。然而，這個(gè)Stack非常巨大，有超過一打的庫在里面，我們只聚焦在核心的包上(最必須的一部分)。

Numpy(stands for Numerical Python)包是最根本的包，甚至于SciPy Stack就是圍繞這個(gè)包建立起來的。她為用Python操作數(shù)組和矩陣提供了豐富的有用特性。該庫提供了NumPy數(shù)組類型的數(shù)學(xué)運(yùn)算向量化，可以改善性能，從而加快執(zhí)行速度。

2.SciPy

SciPy是一個(gè)工程和科學(xué)軟件庫。您還需要了解SciPy Stack和SciPy Library之間的區(qū)別。 SciPy包含線性代數(shù)，優(yōu)化，集成和統(tǒng)計(jì)的模塊。 SciPy庫的主要功能是建立在NumPy的基礎(chǔ)之上，因此它的數(shù)組大量使用了NumPy。它通過其特定的子模塊提供有效的數(shù)值例程作為數(shù)字積分，優(yōu)化和許多其他例程。 SciPy的所有子模塊中的功能都有詳細(xì)的記錄。

3.Pandas

Pandas是一個(gè)設(shè)計(jì)來簡(jiǎn)單直觀地對(duì)有標(biāo)記的數(shù)據(jù)或者關(guān)系型數(shù)據(jù)進(jìn)行操作的Python包。它是一個(gè)數(shù)據(jù)清洗的完美工具，被設(shè)計(jì)用來快速簡(jiǎn)單的數(shù)據(jù)操作，聚合和可視化。

在這個(gè)庫中主要由兩個(gè)數(shù)據(jù)結(jié)構(gòu)：

“Series” – 1維

2017年_數(shù)據(jù)_科學(xué)_Python庫-1

“Data Frames” – 2

2017年_數(shù)據(jù)_科學(xué)_Python庫-2

如下只是我們基于Pandas能做的事情的小清單：

在DataFrame中輕易地刪除或者添加欄

把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為DataFrame對(duì)象

處理缺失數(shù)據(jù)，用NaNs代表

λ 強(qiáng)力的分組(GroupBy)功能

可視化

4.Matplotlib

MatPlotlib是另一個(gè)SciPy Stack核心軟件包和另一個(gè)Python庫，專為輕松生成豐富的可視化圖形而量身定制。他讓Python正成為像MatLab或者M(jìn)athematica這樣的科學(xué)工具的有力競(jìng)爭(zhēng)者。然而，這個(gè)庫相當(dāng)?shù)讓?，意味著你需要編寫更多的代碼才能達(dá)到高級(jí)的可視化效果，通常會(huì)比使用更多的高級(jí)工具付出更多的努力，但總體來說努力是值得的。

只需要一點(diǎn)功夫，你就能做出下面任何的可視化方法：

線圖;

散點(diǎn)圖;

條形圖和直方圖;

餅狀圖;

莖圖;

等高線圖;

矢量場(chǎng)圖;

頻譜圖。

還有使用Matplotlib創(chuàng)建標(biāo)簽，網(wǎng)格，圖例和許多其他格式化實(shí)體的功能。基本上，一切都是可定制的。

該庫由不同的平臺(tái)支持，并使用不同的GUI套件來描述所得到的可視化。不同的IDE(如IPython)支持Matplotlib的功能。

還有一些額外的庫可以使可視化變得更加容易。

2017年_數(shù)據(jù)_科學(xué)_Python庫-3

5.Seaborn

Seaborn主要聚焦于統(tǒng)計(jì)模型的可視化;這些可視化包括總結(jié)數(shù)據(jù)但仍描繪整體分布的熱圖。Seaborn是基于Matplotlib建立的，并高度依賴于那個(gè)包。

6.Bokeh

Boken是另一個(gè)強(qiáng)大的可視化庫，目標(biāo)是建立交互可視化的圖標(biāo)。與之前的圖書館相比，這個(gè)圖書館獨(dú)立于Matplotlib。正如我們已經(jīng)提到的那樣，Bokeh的主要聚焦在交互性，它通過現(xiàn)代瀏覽器以數(shù)據(jù)驅(qū)動(dòng)文檔(d3.js)的風(fēng)格呈現(xiàn)。

7.Plotly

簡(jiǎn)單介紹一下Plotly。它是一個(gè)基于Web的工具箱，將API暴露給某些編程語言(其中包括Python)來構(gòu)建可視化。在plot.ly網(wǎng)站上有一些強(qiáng)大的，開箱即用的圖形。為了使用Plotly，您將需要設(shè)置您的API密鑰。圖形將被處理在服務(wù)器端，并將在互聯(lián)網(wǎng)上發(fā)布。

機(jī)器學(xué)習(xí)

8.SciKit-Learn

Scikits是SciPy Stack的補(bǔ)充軟件包，專為特定功能(如圖像處理和機(jī)器學(xué)習(xí)輔助)而設(shè)計(jì)。在這些領(lǐng)域，其中最突出的一個(gè)是scikit-learn。該軟件包建立在SciPy的上層，并大量使用其數(shù)學(xué)操作。

scikit-learn公開了一個(gè)簡(jiǎn)潔和一致的界面，與常見的機(jī)器學(xué)習(xí)算法，使得把機(jī)器學(xué)習(xí)帶入生產(chǎn)系統(tǒng)變得簡(jiǎn)單。此庫有著高質(zhì)量的代碼和良好的文檔，并使用簡(jiǎn)單性能優(yōu)越，是使用Python進(jìn)行機(jī)器學(xué)習(xí)的事實(shí)上的行業(yè)標(biāo)準(zhǔn)。

深度學(xué)習(xí) – Keras / TensorFlow / Theano

在深度學(xué)習(xí)方面，Python中最突出和最方便的庫之一是Keras，它可以在TensorFlow或者Theano之上運(yùn)行。讓我們來看一下他們的一些細(xì)節(jié)。

9.Theano

首先，讓我們談?wù)凾heano。

Theano是一個(gè)Python包，它定義了與NumPy類似的多維數(shù)組，以及數(shù)學(xué)運(yùn)算和表達(dá)式。這個(gè)庫是自編譯的，使其能夠在所有架構(gòu)上高效運(yùn)行。最初由蒙特利爾大學(xué)機(jī)器學(xué)習(xí)組開發(fā)，主要用于機(jī)器學(xué)習(xí)的需求。

重要的是要注意的是，Theano與NumPy在低層次的操作上緊密集成。該庫還優(yōu)化了GPU和CPU的使用，使數(shù)據(jù)密集型計(jì)算的性能更快。

效率和穩(wěn)定性調(diào)整允許更精確的結(jié)果，甚至非常小的值，例如，log(1 + x)的計(jì)算將給出x的最小值的認(rèn)知結(jié)果。

10. TensorFlow

TensorFlow是由Google的開發(fā)人員開發(fā)，它是一個(gè)圖形化的數(shù)據(jù)流計(jì)算開源庫，專注于機(jī)器學(xué)習(xí)。它旨在滿足Google環(huán)境對(duì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的高度要求，并且是基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)系統(tǒng)DistBelief的繼任者。然而，TensorFlow并不是嚴(yán)格用于谷歌范圍的科學(xué)用途 – 在一般的實(shí)際應(yīng)用中同樣有效。

TensorFlow的關(guān)鍵特征是其多層節(jié)點(diǎn)系統(tǒng)，可以在大型數(shù)據(jù)集上快速訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。這為Google的語音識(shí)別和圖像對(duì)象識(shí)別提供了支持。

11.Keras

最后，我們來看看Keras。它是一個(gè)用Python編寫的用于在高級(jí)界面構(gòu)建神經(jīng)網(wǎng)絡(luò)的開源庫。它簡(jiǎn)單易懂又有著高度可擴(kuò)展性。它使用Theano或TensorFlow作為后端，但Microsoft現(xiàn)在將CNTK(Microsoft的認(rèn)知工具包)集成為新的后端。

設(shè)計(jì)中的極簡(jiǎn)方法旨在通過建立極小集進(jìn)行快速和容易的實(shí)驗(yàn)。

Keras 真的非常容易入門而且可以通過快速標(biāo)準(zhǔn)逐漸深入。它是用純Python編寫的，高度模塊化而又可擴(kuò)展。盡管它的輕松，簡(jiǎn)單和高度定向，Keras仍然對(duì)大型模型有著足夠深和有力的機(jī)器學(xué)習(xí)能力。

Keras的核心是基于層，其他一切都圍繞著它們構(gòu)建。數(shù)據(jù)預(yù)處理為張量，第一層負(fù)責(zé)輸入張量，最后一層負(fù)責(zé)輸出，并建立模型。

自然語言處理

12.NLTK

這套工具包的名稱代表自然語言工具包，顧名思義，它用于符號(hào)和統(tǒng)計(jì)自然語言處理的常見任務(wù)。 NLTK旨在促進(jìn)NLP及相關(guān)領(lǐng)域(語言學(xué)，認(rèn)知科學(xué)人工智能等)的教學(xué)和研究，目前正在被重點(diǎn)關(guān)注。

NLTK的功能允許許多操作，例如文本標(biāo)記，分類和標(biāo)記，名稱實(shí)體標(biāo)識(shí)，建立語言樹，顯示語言間和句子內(nèi)依賴性，詞根，語義推理。所有的構(gòu)建塊都可以為不同的任務(wù)構(gòu)建復(fù)雜的研究系統(tǒng)，例如情緒分析，自動(dòng)總結(jié)。

13.Gensim

它是一個(gè)用于Python的開源庫，可以用來進(jìn)行向量空間建模和主題建模的工具。這個(gè)工具包不僅可以進(jìn)行內(nèi)存處理，還設(shè)計(jì)來高效處理大型文本。效率通過使用NumPy數(shù)據(jù)結(jié)構(gòu)和SciPy操作來實(shí)現(xiàn)。既高效又易于使用。

Gensim旨在與原始和非結(jié)構(gòu)化數(shù)字文本一起使用。 Gensim實(shí)現(xiàn)了諸如分層Dirichlet進(jìn)程(HDP)，潛在語義分析(LSA)和潛在Dirichlet分配(LDA)之類的算法，以及tf-idf，隨機(jī)投影，word2vec和document2vec便于檢查文本中的重復(fù)模式的文本的一套文件(通常稱為語料庫)。所有的算法是無監(jiān)督的 – 不需要任何參數(shù)，唯一的輸入是語料庫。

數(shù)據(jù)挖掘、統(tǒng)計(jì)

14.Scrapy

Scrapy是用于從網(wǎng)絡(luò)檢索結(jié)構(gòu)化數(shù)據(jù)(如聯(lián)系人信息或URL)的爬行程序(也稱為蜘蛛機(jī)器人)的庫。

它是開源的，用Python編寫。它的設(shè)計(jì)嚴(yán)格按照爬行的方式，正如它的名字，但是它已經(jīng)在完整的框架中發(fā)展，能夠從API采集數(shù)據(jù)并作為通用爬蟲。

該圖書館在界面設(shè)計(jì)中著名的“不要重復(fù)自己” – 它提示用戶編寫將要重復(fù)使用的通用代碼，從而構(gòu)建和縮放大型爬蟲。

Scrapy的架構(gòu)圍繞著Spider類構(gòu)建，包含了爬行器跟蹤的一系列指令。

15.Statsmodels

正如您可能從名稱中猜出的那樣，statsmodels是一個(gè)用于Python的庫，使用戶能夠通過使用各種統(tǒng)計(jì)模型估計(jì)方法進(jìn)行數(shù)據(jù)挖掘并執(zhí)行統(tǒng)計(jì)斷言和分析。

許多有用的特征是描述性的，并通過使用線性回歸模型，廣義線性模型，離散選擇模型，魯棒線性模型，時(shí)間序列分析模型，各種估計(jì)量進(jìn)行統(tǒng)計(jì)。

圖書館還提供了可擴(kuò)展的繪圖功能，專門為統(tǒng)計(jì)分析和在進(jìn)行大數(shù)據(jù)統(tǒng)計(jì)時(shí)表現(xiàn)良好而設(shè)計(jì)。

結(jié)論

這些庫被許多數(shù)據(jù)科學(xué)家和工程師認(rèn)為是該列表的首位，值得一看，并至少熟悉它們。

以下是每個(gè)庫Github活躍程度的詳細(xì)統(tǒng)計(jì)資料：

當(dāng)然，這不是完全詳盡的列表，還有許多其他庫，工具包和框架也是非常有用的，尤其是針對(duì)一些特別的任務(wù)。一個(gè)很好的例子是不同的SciKit軟件包，專注于特定領(lǐng)域，如用于處理圖像的SciKit-Image。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。