數(shù)據(jù)科學(xué)家VS數(shù)據(jù)工程師，誰(shuí)是你的真實(shí)身份？

大數(shù)據(jù) 數(shù)據(jù)科學(xué)家數(shù)據(jù)工程師

Kesci數(shù)據(jù)實(shí)踐 | 2016-08-08 15:10

【數(shù)據(jù)猿導(dǎo)讀】隨著大數(shù)據(jù)的出現(xiàn)，企業(yè)和研究中心開始出現(xiàn)新的角色，即數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。很多人經(jīng)常把二者混為一談，實(shí)際上，他們?cè)趯I(yè)背景和技能上區(qū)別多多。身為大數(shù)據(jù)從業(yè)者的你，知道他們有哪些區(qū)別嗎

數(shù)據(jù)科學(xué)家VS數(shù)據(jù)工程師，誰(shuí)是你的真實(shí)身份？

“數(shù)據(jù)科學(xué)家”和“數(shù)據(jù)工程師”可能是新的職位名稱，但其核心的工作角色已經(jīng)存在了一段時(shí)間。傳統(tǒng)上，我們把進(jìn)行數(shù)據(jù)分析工作的人稱作“數(shù)據(jù)分析師”，而把那些創(chuàng)造支撐數(shù)據(jù)分析后端平臺(tái)的人稱做 “商業(yè)智能(BI)開發(fā)者”。

隨著大數(shù)據(jù)的出現(xiàn)，企業(yè)和研究中心開始出現(xiàn)新的角色，即數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。

在日常工作中，數(shù)據(jù)科學(xué)家與數(shù)據(jù)工程師，二者常常被混為一談，而實(shí)際上，他們?cè)趯I(yè)背景和技能上區(qū)別多多。身為大數(shù)據(jù)從業(yè)者的你，知道他們有哪些區(qū)別嗎?

»數(shù)據(jù)分析師：

編程 ★★★★

溝通 ★★★

創(chuàng)新 ★★★

數(shù)據(jù)分析 ★★★★

其他能力 ★★★

所謂數(shù)據(jù)分析師，指的是那些可以挖掘、處理數(shù)據(jù)，提供報(bào)告，進(jìn)行數(shù)據(jù)可視化處理的專業(yè)人士，他們?cè)诮M織中有著十分豐富的數(shù)據(jù)經(jīng)驗(yàn)。數(shù)據(jù)分析師可以熟練利用現(xiàn)有的工具和方法來(lái)解決問(wèn)題，從而幫助整個(gè)公司的人了解具體的查詢數(shù)據(jù)，并在完成點(diǎn)對(duì)點(diǎn)匯報(bào)與圖表方面駕輕就熟。

然而，有趣的是，他們本身并不處理大數(shù)據(jù)，一般也不具有開發(fā)新算法來(lái)解決具體問(wèn)題的數(shù)學(xué)或研究背景。

技能及常用工具：

統(tǒng)計(jì)建模數(shù)據(jù)清洗數(shù)據(jù)可視化探索性數(shù)據(jù)分析 Excel SPSS SAS Modeler SQL Access Tableau SSAS。

»商業(yè)智能開發(fā)者(BI開發(fā)者)：

編程 ★★★

溝通 ★★★★

創(chuàng)新 ★★★★★

數(shù)據(jù)分析 ★★

其他能力 ★★★★

商業(yè)智能開發(fā)人員其實(shí)是數(shù)據(jù)專家的一種。與其他數(shù)據(jù)專家相比，商業(yè)智能開發(fā)人員與企業(yè)內(nèi)部的人員有著更加密切的交流，他們更懂得報(bào)告的需求——收集需求，進(jìn)行設(shè)計(jì)，然后完成商業(yè)智能的開發(fā)并將結(jié)果上報(bào)給公司。他們需要設(shè)計(jì)、開發(fā)、支持現(xiàn)有及未來(lái)的的數(shù)據(jù)倉(cāng)庫(kù)，包括ETL包，cubes，儀表板和分析報(bào)告等。

此外，他們的工作也與數(shù)據(jù)庫(kù)密切相關(guān)。作為一名合格的商業(yè)智能開發(fā)人員，他們必須具備出眾的SQL開發(fā)能力來(lái)整合不同來(lái)源的數(shù)據(jù)。商業(yè)智能開發(fā)人員需掌握大量技能，以滿足企業(yè)廣泛的自我服務(wù)需求，但商業(yè)智能開發(fā)人員通常不一定擅長(zhǎng)數(shù)據(jù)分析。

技能及常用工具：

ETL 開發(fā)報(bào)表業(yè)務(wù)對(duì)象設(shè)計(jì) 畫面儀表工具 OLAP cubes Tableau SQL SSAS SSIS Web intelligence

»數(shù)據(jù)工程師：

編程 ★★★★

溝通 ★★★

創(chuàng)新 ★★★★

數(shù)據(jù)分析 ★★

其他能力 ★★★

所謂數(shù)據(jù)工程師，指的則是那些為數(shù)據(jù)科學(xué)家們提供基礎(chǔ)“大數(shù)據(jù)”的人。簡(jiǎn)而言之，他們是設(shè)計(jì)、建造、整合各種數(shù)據(jù)資源并管理大數(shù)據(jù)的軟件工程師。除此之外，他們還要基于大數(shù)據(jù)編寫復(fù)雜的 queries，確保它們?nèi)菀自L問(wèn)，運(yùn)行流暢，因此他們的主要目標(biāo)是優(yōu)化公司大數(shù)據(jù)生態(tài)系統(tǒng)的性能。

他們同時(shí)也可能在大數(shù)據(jù)集的基礎(chǔ)上運(yùn)行一些ETL(提取，轉(zhuǎn)換和加載)和創(chuàng)建大數(shù)據(jù)倉(cāng)庫(kù)，以便于數(shù)據(jù)科學(xué)家撰寫報(bào)告和進(jìn)行分析。除此之外，因?yàn)閿?shù)據(jù)工程師更專注于設(shè)計(jì)和架構(gòu)，他們通常不擅長(zhǎng)機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析。

技能及常用工具：

Programming Hadoop MapReduce Hive Pig MySQL MongoDB Cassandra Data streaming NoSQL SQL

»數(shù)據(jù)科學(xué)家：

編程 ★★★★

溝通 ★★★★

創(chuàng)新 ★★★★★

數(shù)據(jù)分析 ★★★★

其他能力 ★★★★

數(shù)據(jù)科學(xué)家是二十一世紀(jì)的煉金術(shù)士：他們洞悉原始數(shù)據(jù)，從而進(jìn)行轉(zhuǎn)化。數(shù)據(jù)科學(xué)家利用統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和分析方法來(lái)解決關(guān)鍵業(yè)務(wù)問(wèn)題，幫助公司將大數(shù)據(jù)量化為有價(jià)值、可操作的見解。

事實(shí)上，數(shù)據(jù)科學(xué)本身并不是一個(gè)新領(lǐng)域，但它可以被看做是數(shù)據(jù)分析的前景——一個(gè)被機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)所驅(qū)動(dòng)的時(shí)代。換句話說(shuō)，與“數(shù)據(jù)分析師”相比，數(shù)據(jù)科學(xué)家除了數(shù)據(jù)分析技能之外，一般也擁有較強(qiáng)的編程技能、設(shè)計(jì)新的算法的能力、處理大數(shù)據(jù)的能力以及其他領(lǐng)域知識(shí)的一些專業(yè)知識(shí)。

此外，數(shù)據(jù)科學(xué)家通常也能夠借助可視化技術(shù)、建立數(shù)據(jù)科學(xué)的應(yīng)用程序或用有趣的故事，更好地闡述他們通過(guò)分析數(shù)據(jù)得出的對(duì)業(yè)務(wù)問(wèn)題的解決方案。

數(shù)據(jù)科學(xué)家的問(wèn)題解決能力通常建立在對(duì)新老數(shù)據(jù)進(jìn)行分析、建立模型和發(fā)現(xiàn)數(shù)據(jù)模式的基礎(chǔ)之上。例如創(chuàng)建一個(gè)推薦引擎來(lái)進(jìn)行股票市場(chǎng)預(yù)測(cè)，就需要數(shù)據(jù)科學(xué)家在相似性的基礎(chǔ)上進(jìn)行模式分析，或者發(fā)現(xiàn)欺詐交易模式。

數(shù)據(jù)科學(xué)家在面對(duì)大數(shù)據(jù)時(shí)，有時(shí)并沒有特定的業(yè)務(wù)問(wèn)題解決需求。在這種情況下，具有好奇心的數(shù)據(jù)科學(xué)家通常會(huì)探索數(shù)據(jù)，提出正確的問(wèn)題，并得出有趣的探索結(jié)果。這件事情最難的地方在于，要想分析這些數(shù)據(jù)，就要求強(qiáng)大的數(shù)據(jù)科學(xué)家應(yīng)該在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、統(tǒng)計(jì)和大數(shù)據(jù)基礎(chǔ)方面具有極其廣泛的知識(shí)儲(chǔ)備和足夠的能力。

數(shù)據(jù)科學(xué)家需要擁有處理不同大小、不同形狀的數(shù)據(jù)集的能力，并且應(yīng)該有能力在巨大的數(shù)據(jù)下快速且高效的運(yùn)行自己的算法，而這通常意味著要時(shí)刻緊跟最新的尖端技術(shù)。這也就是為什么數(shù)據(jù)科學(xué)家要了解計(jì)算機(jī)科學(xué)的基本原理和編程，包括各種語(yǔ)言編寫經(jīng)驗(yàn)和數(shù)據(jù)庫(kù)(大/小)的技術(shù)了。

技能及常用工具：

Python R Scala Apache Spark Hadoop 數(shù)據(jù)挖掘工具和算法機(jī)器學(xué)習(xí) 統(tǒng)計(jì)建模

以上便是數(shù)據(jù)分析師，商業(yè)智能開發(fā)，數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家在數(shù)據(jù)中所扮演角色的幾點(diǎn)不同，愿大數(shù)據(jù)從業(yè)的你，找到自己的目前定位;還未就業(yè)的你，可依據(jù)優(yōu)勢(shì)選擇自己擅長(zhǎng)的職能喲~

來(lái)源：Saeed Aghabozorgi，Polong Lin

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。