大數(shù)據(jù)工程師練成記之首重：知識體系一覽！

大數(shù)據(jù) 數(shù)據(jù)工程師知識體系

東方網(wǎng) | 2016-11-08 10:25

【數(shù)據(jù)猿導(dǎo)讀】要成為大數(shù)據(jù)工程師，那么就需要循序漸進(jìn)的掌握整個大數(shù)據(jù)系統(tǒng)里所包含的知識，你可以一個系列一個系列的學(xué)。比如說，你先學(xué)了數(shù)據(jù)分析挖掘所需掌握的技能MATLAB、SPSS和SAS后，找到數(shù)據(jù)分析師的工作，然后繼續(xù)學(xué)其他的技能，最后成為大數(shù)據(jù)工程師

我們想要告訴大家的是成為大數(shù)據(jù)工程師需要掌握的知識體系，而作為初學(xué)者，你可以先從簡單的入手，慢慢在學(xué)更深的知識，拿出高考的恒心和堅持來，肯定能行。

值得一提的是，目前大數(shù)據(jù)工程師的月薪都是20K起，月收入兩萬的薪資是不是很誘人?而且大數(shù)據(jù)工程師是非常容易找到工作的，所以……Why not

不扯犢子了，由于篇幅所限，這一部分內(nèi)容主要包括數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)和算法三個分支。

數(shù)據(jù)可視化

R不僅是編程語言，同時也R具有強(qiáng)大的統(tǒng)計計算功能和便捷的數(shù)據(jù)可視化系統(tǒng)。在此，推薦大家看一本書，這本書叫做《R數(shù)據(jù)可視化手冊》。

《R數(shù)據(jù)可視化手冊》重點(diǎn)講解R的繪圖系統(tǒng)，指導(dǎo)讀者通過繪圖系統(tǒng)實現(xiàn)數(shù)據(jù)可視化。書中提供了快速繪制高質(zhì)量圖形的150多種技巧，每個技巧用來解決一個特定的繪圖需求。讀者可以通過目錄快速定位到自己遇到的問題，查閱相應(yīng)的解決方案。同時，作者在大部分的技巧之后會進(jìn)行一些討論和延伸，介紹一些總結(jié)出的繪圖技巧。《R數(shù)據(jù)可視化手冊》側(cè)重于解決具體問題，是R數(shù)據(jù)可視化的實戰(zhàn)秘籍?！禦數(shù)據(jù)可視化手冊》中絕大多數(shù)的繪圖案例都是以強(qiáng)大、靈活制圖而著稱的R包ggplot2實現(xiàn)的，充分展現(xiàn)了ggplot2生動、翔實的一面。從如何畫點(diǎn)圖、線圖、柱狀圖，到如何添加注解、修改坐標(biāo)軸和圖例，再到分面的使用和顏色的選取等，本書都有清晰的講解。

此書在網(wǎng)上就可以購買得到，當(dāng)然也有電子版。在此，我們放出一張用R做出來的可視化作品。

D3.js

D3 (Data-Driven Documents)是基于數(shù)據(jù)的文檔操作javascript庫，D3能夠把數(shù)據(jù)和HTML、SVG、CSS結(jié)合起來，創(chuàng)造出可交互的數(shù)據(jù)圖表。

ECharts

ECharts是一款數(shù)據(jù)可視化的純JavaScript圖標(biāo)庫，其擁有混搭圖表、拖拽重計算、制作數(shù)據(jù)視圖、動態(tài)類型切換、圖例開關(guān)、數(shù)據(jù)區(qū)域選擇、值域漫游、多維度堆積等非常豐富的功能。

ECharts (Enterprise Charts 商業(yè)產(chǎn)品圖表庫)是基于HTML5 Canvas的一個純Javascript圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表。創(chuàng)新的拖拽重計算、數(shù)據(jù)視圖、值域漫游等特性大大增強(qiáng)了用戶體驗，賦予了用戶對數(shù)據(jù)進(jìn)行挖掘、整合的能力。

ECharts提供商業(yè)產(chǎn)品常用圖表庫，底層基于ZRender，創(chuàng)建了坐標(biāo)系，圖例，提示，工具箱等基礎(chǔ)組件，并在此上構(gòu)建出折線圖(區(qū)域圖)、柱狀圖(條狀圖)、散點(diǎn)圖(氣泡圖)、K線圖、餅圖(環(huán)形圖)、地圖、力導(dǎo)向布局圖，同時支持任意維度的堆積和多圖表混合展現(xiàn)。

Excel

Excel中大量的公式函數(shù)可以應(yīng)用選擇，使用Microsoft Excel可以執(zhí)行計算，分析信息并管理電子表格或網(wǎng)頁中的數(shù)據(jù)信息列表與數(shù)據(jù)資料圖表制作，可以實現(xiàn)許多方便的功能，帶給使用者方便。與其配套組合的有：Word、PowerPoint、Access、InfoPath及Outlook,Publisher

事實上，Excel完全可以滿足大家日常工作中圖表制作和數(shù)據(jù)可視化的需求，所以，想要進(jìn)入大數(shù)據(jù)行業(yè)，學(xué)好Excel是基礎(chǔ)。

Python

Python 的科學(xué)棧相當(dāng)成熟，各種應(yīng)用場景都有相關(guān)的模塊，包括機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。數(shù)據(jù)可視化是發(fā)現(xiàn)數(shù)據(jù)和展示結(jié)果的重要一環(huán)，只不過過去以來，相對于 R 這樣的工具，發(fā)展還是落后一些。

幸運(yùn)的是，過去幾年出現(xiàn)了很多新的Python數(shù)據(jù)可視化庫，彌補(bǔ)了一些這方面的差距。matplotlib 已經(jīng)成為事實上的數(shù)據(jù)可視化方面最主要的庫，此外還有很多其他庫，例如vispy，bokeh， seaborn， pyga， folium 和 networkx，這些庫有些是構(gòu)建在 matplotlib 之上，還有些有其他一些功能。

報表類：FineReport

工作中數(shù)據(jù)可視化呈現(xiàn)的最多場景就是報表了。大數(shù)據(jù)工程師要做的可視化可不單單是表格數(shù)據(jù)展示，還有將數(shù)據(jù)從數(shù)據(jù)倉庫中抽取得到實時呈現(xiàn)和展示。

FineReport是國內(nèi)數(shù)一數(shù)二的報表工具，功能之強(qiáng)大已經(jīng)完全覆蓋掉大部分企業(yè)日常辦公數(shù)據(jù)呈現(xiàn)的需求，與excel不同的是，F(xiàn)ineReport的部署結(jié)果是一個數(shù)據(jù)展現(xiàn)分析平臺，背后是數(shù)據(jù)中心，能夠?qū)崿F(xiàn)數(shù)據(jù)的全管理，而excel專注于單機(jī)的數(shù)據(jù)分析。

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)基礎(chǔ)

聚類

將物理或抽象對象的集合分成由類似的對象組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組數(shù)據(jù)對象的集合，這些對象與同一個簇中的對象彼此相似，與其他簇中的對象相異。“物以類聚，人以群分”，在自然科學(xué)和社會科學(xué)中，存在著大量的分類問題。聚類分析又稱群分析，它是研究(樣品或指標(biāo))分類問題的一種統(tǒng)計分析方法。聚類分析起源于分類學(xué)，但是聚類不等于分類。聚類與分類的不同在于，聚類所要求劃分的類是未知的。聚類分析內(nèi)容非常豐富，有系統(tǒng)聚類法、有序樣品聚類法、動態(tài)聚類法、模糊聚類法、圖論聚類法、聚類預(yù)報法等。

在數(shù)據(jù)挖掘中，聚類也是很重要的一個概念。

傳統(tǒng)的聚類分析計算方法主要有如下幾種：

1、劃分方法(partitioning methods)

2、層次方法(hierarchical methods)

3、基于密度的方法(density-based methods)

4、基于網(wǎng)格的方法(grid-based methods)

5、基于模型的方法(model-based methods)

當(dāng)然聚類方法還有：傳遞閉包法，布爾矩陣法，直接聚類法，相關(guān)性分析聚類，基于統(tǒng)計的聚類方法等。

時間序列

時間序列(或稱動態(tài)數(shù)列)是指將同一統(tǒng)計指標(biāo)的數(shù)值按其發(fā)生的時間先后順序排列而成的數(shù)列。時間序列分析的主要目的是根據(jù)已有的歷史數(shù)據(jù)對未來進(jìn)行預(yù)測。構(gòu)成要素：長期趨勢，季節(jié)變動，循環(huán)變動，不規(guī)則變動。

種類：

絕對數(shù)時間序列

時期序列：由時期總量指標(biāo)排列而成的時間序列。

相對數(shù)時間序列

把一系列同種相對數(shù)指標(biāo)按時間先后順序排列而成的時間序列叫做相對數(shù)時間序列。

平均數(shù)時間序列

平均數(shù)時間序列是指由一系列同類平均指標(biāo)按時間先后順序排列的時間序列。

保證序列中各期指標(biāo)數(shù)值的可比性

(一)時期長短最好一致

(二)總體范圍應(yīng)該一致

(三)指標(biāo)的經(jīng)濟(jì)內(nèi)容應(yīng)該統(tǒng)一

(四)計算方法應(yīng)該統(tǒng)一

(五)計算價格和計量單位可比

推薦系統(tǒng)

定義：它是利用電子商務(wù)網(wǎng)站向客戶提供商品信息和建議，幫助用戶決定應(yīng)該購買什么產(chǎn)品，模擬銷售人員幫助客戶完成購買過程”。

推薦系統(tǒng)有3個重要的模塊：用戶建模模塊、推薦對象建模模塊、推薦算法模塊。通用的推薦系統(tǒng)模型流程如圖。推薦系統(tǒng)把用戶模型中興趣需求信息和推薦對象模型中的特征信息匹配，同時使用相應(yīng)的推薦算法進(jìn)行計算篩選，找到用戶可能感興趣的推薦對象，然后推薦給用戶。

回歸分析

回歸分析(regression analysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。運(yùn)用十分廣泛，回歸分析按照涉及的變量的多少，分為一元回歸和多元回歸分析;在線性回歸中，按照因變量的多少，可分為簡單回歸分析和多重回歸分析;按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個自變量和一個因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且自變量之間存在線性相關(guān)，則稱為多元線性回歸分析。

文本挖掘

所謂PaaS實際上是指將軟件研發(fā)的平臺(計世資訊定義為業(yè)務(wù)基礎(chǔ)平臺)作為一種服務(wù)，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開發(fā)速度。在2007年國內(nèi)外SaaS廠商先后推出自己的PAAS平臺。

IaaS

IaaS(Infrastructure as a Service)，即基礎(chǔ)設(shè)施即服務(wù)。

消費(fèi)者通過Internet 可以從完善的計算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。這類服務(wù)稱為基礎(chǔ)設(shè)施即服務(wù)。基于 Internet 的服務(wù)(如存儲和數(shù)據(jù)庫)是 IaaS的一部分。Internet上其他類型的服務(wù)包括平臺即服務(wù)(Platform as a Service，PaaS)和軟件即服務(wù)(Software as a Service，SaaS)。PaaS提供了用戶可以訪問的完整或部分的應(yīng)用程序開發(fā)，SaaS則提供了完整的可直接使用的應(yīng)用程序，比如通過 Internet管理企業(yè)資源。

Openstack

OpenStack是一個開源的云計算管理平臺項目，由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的云環(huán)境，項目目標(biāo)是提供實施簡單、可大規(guī)模擴(kuò)展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計算管理平臺。OpenStack通過各種互補(bǔ)的服務(wù)提供了基礎(chǔ)設(shè)施即服務(wù)(IaaS)的解決方案，每個服務(wù)提供API以進(jìn)行集成。

OpenStack是IaaS(基礎(chǔ)設(shè)施即服務(wù))組件，讓任何人都可以自行建立和提供云端運(yùn)算服務(wù)。

此外，OpenStack也用作建立防火墻內(nèi)的“私有云”(Private Cloud)，提供機(jī)構(gòu)或企業(yè)內(nèi)各部門共享資源。

Docker

Docker 是一個開源的應(yīng)用容器引擎，讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個可移植的容器中，然后發(fā)布到任何流行的 Linux 機(jī)器上，也可以實現(xiàn)虛擬化。容器是完全使用沙箱機(jī)制，相互之間不會有任何接口。

Docker 使用客戶端-服務(wù)器 (C/S) 架構(gòu)模式，使用遠(yuǎn)程API來管理和創(chuàng)建Docker容器。Docker 容器通過 Docker 鏡像來創(chuàng)建。容器與鏡像的關(guān)系類似于面向?qū)ο缶幊讨械膶ο笈c類。

來源：東方網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。