如何入行大數(shù)據(jù)拿高薪？大神來支招！

大數(shù)據(jù) 業(yè)務(wù)流程大數(shù)據(jù)挖掘

江穎 | 2016-11-02 16:05

【數(shù)據(jù)猿導(dǎo)讀】 DT時代到來，大數(shù)據(jù)行業(yè)對人才需求倍增，但由于大數(shù)據(jù)需要的是復(fù)合型人才，而相應(yīng)的培育體系仍未完善，因此，行業(yè)人才極度稀缺?？梢灶A(yù)見，大數(shù)據(jù)行業(yè)的從業(yè)者的薪酬待遇將持續(xù)上升；對于廣泛的應(yīng)屆生，大數(shù)據(jù)領(lǐng)域提供了許多黃金就業(yè)機會

來源：數(shù)據(jù)猿作者：江穎

作為一個專業(yè)大數(shù)據(jù)公司的CEO，經(jīng)常面試希望進入大數(shù)據(jù)行業(yè)的小鮮肉，大家都說“我要做大數(shù)據(jù)”。我會問：“你想象中的做大數(shù)據(jù)到底是做什么？”或者“你希望具體從事的大數(shù)據(jù)工作或方向是什么？”大多數(shù)人往往說不出來。

顯然，對于大數(shù)據(jù)行業(yè)的生態(tài)，未來大數(shù)據(jù)領(lǐng)域都有哪些發(fā)展機會、不同崗位需要具備什么能力，很多人都不了解。

作為一枚有情懷的大數(shù)據(jù)領(lǐng)域的老兵，我覺得有必要科普一下大數(shù)據(jù)領(lǐng)域都有哪些從業(yè)方向，各個方向崗位需要具備什么技能，以及未來可以如何發(fā)展。

大數(shù)據(jù)業(yè)務(wù)流程有4個基本環(huán)節(jié)，分別是業(yè)務(wù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、分析應(yīng)用。在這個流程里有三個職能領(lǐng)域：大數(shù)據(jù)系統(tǒng)研發(fā)，承擔(dān)整個運營系統(tǒng)的構(gòu)建與維護、數(shù)據(jù)準(zhǔn)備、平臺與工具開發(fā)；大數(shù)據(jù)挖掘，負(fù)責(zé)關(guān)鍵模型應(yīng)用與研究工作；大數(shù)據(jù)分析應(yīng)用：既是外部需求的接入者，也是解決方案的輸出者，很多時候也會承擔(dān)全盤統(tǒng)籌的角色。

大數(shù)據(jù)業(yè)務(wù)流程圖，上方回指箭頭表示各個環(huán)節(jié)之間的反饋調(diào)節(jié)機制

入行方向1：大數(shù)據(jù)系統(tǒng)研發(fā)領(lǐng)域

大數(shù)據(jù)系統(tǒng)研發(fā)領(lǐng)域說白了就是大數(shù)據(jù)里面搞IT的，承擔(dān)整個運營系統(tǒng)的構(gòu)建與維護、數(shù)據(jù)準(zhǔn)備、平臺與工具開發(fā)。

大數(shù)據(jù)運營系統(tǒng)

大數(shù)據(jù)運營體系包含了采集層、存儲層、計算層和應(yīng)用層，是一個復(fù)雜的IT系統(tǒng)，需要熟悉Hadoop等分布式系統(tǒng)的開發(fā)工程師、架構(gòu)工程師和運維工程師來選擇平臺技術(shù)路徑和開源組件，完成環(huán)境部署，并開發(fā)定制化平臺工具。對于大數(shù)據(jù)系統(tǒng)的每一層，所要求的掌握的編程語言和工具都有所側(cè)重，常用的可選技術(shù)路徑如：

采集層，Sqoop可用來采集導(dǎo)入傳統(tǒng)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)、Flume對于日志型數(shù)據(jù)采集是非常適用的，另外使用Python一類的語言開發(fā)網(wǎng)絡(luò)爬蟲獲取網(wǎng)絡(luò)數(shù)據(jù)；

儲存層，分布式文件系統(tǒng)HDFS最為常用；

計算層：有不同的計算框架可以選擇，常見的如MapReduce、Spark等，一般來講，如果能使用計算框架的“原生語言”，運算效率會最高（MapReduce的原生支持Java，而Spark原生支持Scala），但原生語言使用相對難度較大，與數(shù)據(jù)分析更為貼近的語言中，至少懂R和Python其中一種，也可以完成大數(shù)據(jù)計算；

應(yīng)用層包括結(jié)果數(shù)據(jù)的可視化、交互界面開發(fā)以及應(yīng)用管理工具的開發(fā)等，更多的用到Java、Python等通用IT開發(fā)前端、后端的能力。

在大數(shù)據(jù)系統(tǒng)研發(fā)領(lǐng)域前期從系統(tǒng)維護入門，逐漸能夠自己部署整個Hadoop框架，然后基于這個環(huán)境部署平臺、工具等。

入行方向2：大數(shù)據(jù)建模與挖掘

大數(shù)據(jù)挖掘指的是利用算法和模型提高數(shù)據(jù)處理效率、挖掘數(shù)據(jù)價值、實現(xiàn)從數(shù)據(jù)到知識的轉(zhuǎn)換。大數(shù)據(jù)挖掘工程師，也叫機器學(xué)習(xí)算法工程師，首先得有扎實的數(shù)理統(tǒng)計功底，統(tǒng)計學(xué)是最基礎(chǔ)的，同時熟練掌握常用的統(tǒng)計分析和機器學(xué)習(xí)模型算法，而且有好奇心和耐心有鉆研精神。

Python／R／Java等編程語言至少會一門，而且在海量數(shù)據(jù)情況下，不可能只在單機環(huán)境下操作，所以得熟悉Hadoop。要真正成為算法大神，還需要良好的英語閱讀能力，才能快速學(xué)習(xí)國內(nèi)外最新研究成果。

大數(shù)據(jù)挖掘工程師／算法工程師剛?cè)胄锌赡苁歉鶕?jù)大數(shù)據(jù)項目經(jīng)理提的需求應(yīng)用模型解決數(shù)據(jù)問題。在應(yīng)用的基礎(chǔ)上，進階是能夠總結(jié)問題與解決方法的共性，從而形成標(biāo)準(zhǔn)化的能力、固化模型，提升效益。高階便是有自己的研究成果，成為算法大神、數(shù)據(jù)科學(xué)家。

入行方向3：大數(shù)據(jù)分析應(yīng)用領(lǐng)域

大數(shù)據(jù)分析應(yīng)用就是幫助企業(yè)把數(shù)據(jù)和技術(shù)轉(zhuǎn)化為商業(yè)價值，我們常說的初級／高級數(shù)據(jù)分析師，或數(shù)據(jù)分析項目經(jīng)理都屬于這個領(lǐng)域。相對于前兩個領(lǐng)域，分析應(yīng)用領(lǐng)域所要求的技能最為全面的，需要從業(yè)者擁有復(fù)合型的知識結(jié)構(gòu)和背景，包括對行業(yè)和業(yè)務(wù)深刻理解力，數(shù)據(jù)分析處理與解讀力，溝通表達(dá)及管理能力三個方面。

首先起碼會用SQL／SPSS／SAS等初級分析工具，了解統(tǒng)計模型相關(guān)知識；最好能在一定程度上掌握Python等一類通用型編程語言；需要強大的邏輯思維能力、歸納演繹能力幫助理解業(yè)務(wù)，能快速學(xué)習(xí)全新領(lǐng)域的商業(yè)模式和生態(tài)；最后，如何把分析結(jié)果可視化、產(chǎn)出可落地方案、讓別人信服以及管理自己的團隊，又考驗了溝通表達(dá)和管理能力。

理論上計算機專業(yè)、信息專業(yè)、數(shù)學(xué)專業(yè)、管理專業(yè)或者其他專業(yè)背景的都可以嘗試這個領(lǐng)域。前期是做數(shù)據(jù)的基礎(chǔ)監(jiān)測和總結(jié)工作，如周期性的報告或特定專題報告；中期參與業(yè)務(wù)溝通、梳理需求，組織建模解決問題；后期要不就為企業(yè)內(nèi)部提供戰(zhàn)略意見，要不就帶領(lǐng)團隊為甲方客戶提供可落地的解決方案。

大數(shù)據(jù)三個主要職能領(lǐng)域所需技能對比

從掌握Python開始，獲得黃金就業(yè)機會

DT時代到來，大數(shù)據(jù)行業(yè)對人才需求倍增，但由于大數(shù)據(jù)需要的是復(fù)合型人才，而相應(yīng)的培育體系仍未完善，因此，行業(yè)人才極度稀缺?？梢灶A(yù)見，大數(shù)據(jù)行業(yè)的從業(yè)者的薪酬待遇將持續(xù)上升；對于廣泛的應(yīng)屆生，大數(shù)據(jù)領(lǐng)域提供了許多黃金就業(yè)機會。

很多想進入這個行業(yè)的人都想知道，這么多編程語言，應(yīng)該學(xué)習(xí)哪一門？強烈建議Python。無論是數(shù)據(jù)采集、處理還是建模、平臺工具開發(fā)，都可以用到。無論你是做系統(tǒng)研發(fā)還是做數(shù)據(jù)挖掘、分析應(yīng)用，懂Python都會讓你事半功倍！

本文作者簡介

江穎，帷策智能、原力大數(shù)據(jù)創(chuàng)始人兼CEO，大數(shù)據(jù)應(yīng)用實施領(lǐng)域資深專家，中國大數(shù)據(jù)商業(yè)實踐先行者。武漢大學(xué)管理學(xué)碩士，13年大數(shù)據(jù)研究及應(yīng)用實踐經(jīng)歷，曾任中國移動資深大數(shù)據(jù)分析專家。對通信運營商、移動互聯(lián)網(wǎng)、零售、服裝、教育等多個行業(yè)都有深入的理解和實踐經(jīng)驗，積累了大量大數(shù)據(jù)行業(yè)經(jīng)驗和研究成果。

注：本文由 帷策智能&原力大數(shù)據(jù) 投稿數(shù)據(jù)猿發(fā)布。

歡迎更多大數(shù)據(jù)企業(yè)、愛好者投稿數(shù)據(jù)猿，來稿請直接投遞至：tougao@datayuan.cn

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。