據(jù)說我們都是站在大數(shù)據(jù)金字塔尖的人

大數(shù)據(jù) 金字塔價(jià)值

36大數(shù)據(jù) | 2017-07-17 11:28

【數(shù)據(jù)猿導(dǎo)讀】數(shù)據(jù)科學(xué)家之所以被稱為「科學(xué)家」，而區(qū)別于「數(shù)據(jù)工程師」和「數(shù)據(jù)分析師」，其根本在于對(duì)數(shù)據(jù)有極端敏銳的直覺和本質(zhì)的認(rèn)知，對(duì)問題和業(yè)務(wù)有深入的洞察和理解，因而能夠解決復(fù)雜數(shù)據(jù)帶來的問題。

在Google、Amazon、Facebook、Uber、Airbnb等公司成功的背后，有這樣一批人：他們可以將大量的數(shù)據(jù)變?yōu)橛袃r(jià)值的金礦，例如，搜索結(jié)果、定向廣告、準(zhǔn)確的商品推薦、可能認(rèn)識(shí)的好友列表等。沒錯(cuò)，他們就是被譽(yù)為「今后10年IT行業(yè)最重要的人才」—— Data Scientist(數(shù)據(jù)科學(xué)家)。

現(xiàn)在的互聯(lián)網(wǎng)行業(yè)，越來越多的企業(yè)對(duì)數(shù)據(jù)科學(xué)家求賢若渴。

大數(shù)據(jù)_金字塔_價(jià)值-1

雖然數(shù)據(jù)科學(xué)家的需求一直在快速增長，但事實(shí)是在業(yè)內(nèi)還沒有對(duì)數(shù)據(jù)科學(xué)家的準(zhǔn)確定義。有人開玩笑說，「數(shù)據(jù)科學(xué)家就是住在硅谷的數(shù)據(jù)分析師」，甚至有人畫了這樣的漫畫：

大數(shù)據(jù)_金字塔_價(jià)值-2

沒錯(cuò)，找到一位優(yōu)秀的數(shù)據(jù)科學(xué)家和找到一個(gè)理解數(shù)據(jù)科學(xué)家是做什么的人一樣難。

要理解數(shù)據(jù)科學(xué)家是做什么，首先要理解人盡皆知卻總被誤讀的大數(shù)據(jù)：大數(shù)據(jù)不是大量的數(shù)據(jù)，而是復(fù)雜的數(shù)據(jù)。

《大數(shù)據(jù)時(shí)代》聯(lián)席作者Kenneth Cukier在Ted上的熱門演講：《Big data is better data》，告訴你大數(shù)據(jù)驅(qū)動(dòng)技術(shù)和設(shè)計(jì)的未來，以及大數(shù)據(jù)的「好」與「壞」。

這些解決復(fù)雜數(shù)據(jù)帶來的問題的人，就是數(shù)據(jù)科學(xué)家。

那么，數(shù)據(jù)科學(xué)家在工作中是怎樣解決問題的呢

分享兩個(gè)共享經(jīng)濟(jì)的典范：Airbnb和Uber——在運(yùn)用大數(shù)據(jù)方面的經(jīng)驗(yàn)。

1、Airbnb

在Airbnb，工程師要解決這樣一個(gè)問題：如何讓用戶了解一個(gè)自己從來沒去過的地方如何知道哪個(gè)地方最適合自己的旅行

Airbnb擁有海量的獨(dú)有數(shù)據(jù)，包括旅游地、用戶評(píng)論、房源描述、社區(qū)信息等，Airbnb還有一支隊(duì)伍去各地和當(dāng)?shù)厝私涣?，搜集所有的相關(guān)歷史數(shù)據(jù)。Airbnb的數(shù)據(jù)科學(xué)家是這樣運(yùn)用數(shù)據(jù)的：

大數(shù)據(jù)_金字塔_價(jià)值-3

(Airbnb accommodations (red) and traditional accommodations (blue) in San Francisco)

當(dāng)用戶在搜尋一個(gè)住宿的地方時(shí)，Airbnb的「location relevance model」會(huì)通過Airbnb社區(qū)告訴未來的客人哪里是更好的住宿地。

當(dāng)用戶在尋找想體驗(yàn)的新地方時(shí)，「Airbnb Neighborhoods」會(huì)將當(dāng)?shù)氐膬?nèi)容編輯親手整理的必備資料和專業(yè)的照片呈獻(xiàn)給用戶。

Airbnb的「discovery team」通過自然語言處理和機(jī)器學(xué)習(xí)來為用戶搜索關(guān)鍵詞提供更準(zhǔn)確的推薦。

Airbnb甚至造了一個(gè)叫做「AT-AT」的復(fù)雜工具，幫助用戶更深入地了解某個(gè)地點(diǎn)，包括地理信息無法描述的文化或宗教上的區(qū)分。

2、Uber

縮短開著空車去接下一位乘客的時(shí)間和乘客等待的時(shí)間是Uber的車主和乘客的共同需求，他們希望這些時(shí)間越短越好。為此，Uber的數(shù)據(jù)科學(xué)家建立了「Location-based demand models」。

(Uber heatmap in San Francisco)

每天實(shí)時(shí)更新的熱點(diǎn)地圖(Heatmaps)可以有效幫助車主縮短空載時(shí)間，同時(shí)幫乘客減少等待時(shí)長。下一步，這張圖甚至可以預(yù)測，這樣車主會(huì)知道提前去哪里等待可以載到更多的乘客。

數(shù)據(jù)科學(xué)家的由來和定義

雖然數(shù)據(jù)科學(xué)三十年前就誕生了，但是數(shù)據(jù)科學(xué)家卻是幾年前剛出現(xiàn)的一個(gè)新詞。在《數(shù)據(jù)之美》一書中，我們可以看到Facebook的數(shù)據(jù)科學(xué)家的起源：

在Facebook，我們發(fā)現(xiàn)傳統(tǒng)的頭銜如商業(yè)分析師、統(tǒng)計(jì)學(xué)家、工程師和研究科學(xué)家都不能確切地定義我們團(tuán)隊(duì)的角色。該角色的工作是變化多樣的：在任意給定的一天，團(tuán)隊(duì)的一個(gè)成員可以用Python實(shí)現(xiàn)一個(gè)多階段的處理管道流、設(shè)計(jì)假設(shè)檢驗(yàn)、用工具R在數(shù)據(jù)樣本上執(zhí)行回歸測試、在Hadoop上為數(shù)據(jù)密集型產(chǎn)品或服務(wù)設(shè)計(jì)和實(shí)現(xiàn)算法，或者把我們分析的結(jié)果以清晰簡潔的方式展示給企業(yè)的其他成員。為了掌握完成這多方面任務(wù)需要的技術(shù)，我們創(chuàng)造了「數(shù)據(jù)科學(xué)家」這種角色。

所以，用一句話總結(jié)「數(shù)據(jù)科學(xué)家」的定義：

運(yùn)用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、分布式處理等技術(shù)，從大量數(shù)據(jù)中提取出對(duì)業(yè)務(wù)有意義的信息，以易懂的形式傳達(dá)給決策者，并創(chuàng)造出新的數(shù)據(jù)運(yùn)用服務(wù)的人才。

數(shù)據(jù)科學(xué)家有哪幾種類別

為了更好地闡釋數(shù)據(jù)科學(xué)家，我們將它分為三類：

理論數(shù)據(jù)科學(xué)家致力于數(shù)據(jù)科學(xué)的理論研究，為其他的數(shù)據(jù)科學(xué)家創(chuàng)造框架和工具。本質(zhì)上是將統(tǒng)計(jì)數(shù)據(jù)、數(shù)據(jù)存儲(chǔ)和計(jì)算機(jī)科學(xué)在理論層面應(yīng)用于大數(shù)據(jù)的學(xué)者。

應(yīng)用數(shù)據(jù)科學(xué)家對(duì)于如何運(yùn)用大數(shù)據(jù)有更好的理解?？茖W(xué)需要嚴(yán)謹(jǐn)，我認(rèn)為數(shù)據(jù)應(yīng)用植根于學(xué)術(shù)嚴(yán)謹(jǐn)，但是在應(yīng)用層面工作。應(yīng)用數(shù)據(jù)科學(xué)家的工作是先進(jìn)行架設(shè)，再用大數(shù)據(jù)進(jìn)行驗(yàn)證。每個(gè)人都會(huì)受惠于他們的研究發(fā)現(xiàn)和工具。

行業(yè)數(shù)據(jù)科學(xué)家用應(yīng)用數(shù)據(jù)科學(xué)地解決某個(gè)具體的市場問題、行業(yè)、生意，實(shí)現(xiàn)利益最大化的單一目的。行業(yè)數(shù)據(jù)科學(xué)家得擅長溝通，能夠讓他們的發(fā)現(xiàn)應(yīng)用于商業(yè)。將工商、經(jīng)濟(jì)和會(huì)計(jì)方面的經(jīng)驗(yàn)應(yīng)用在商業(yè)領(lǐng)域是他的價(jià)值所在。與商業(yè)分析師和商業(yè)顧問的角色有點(diǎn)相似。

要成為一名數(shù)據(jù)科學(xué)家，需要掌握哪些核心技能

作為一名數(shù)據(jù)科學(xué)家，一般需要編程和數(shù)據(jù)庫、數(shù)學(xué)&統(tǒng)計(jì)、交流和可視化、領(lǐng)導(dǎo)力和軟技能：四個(gè)方面的技能。

1、編程和數(shù)據(jù)庫

一般來說，數(shù)據(jù)科學(xué)家大多要求具備編程、計(jì)算機(jī)科學(xué)相關(guān)的專業(yè)背景，掌握對(duì)處理大數(shù)據(jù)所必需的Hadoop、Mahout等大規(guī)模并行處理技術(shù)與機(jī)器學(xué)習(xí)相關(guān)的技能。一般能利用python熟練的獲取數(shù)據(jù)，整理數(shù)據(jù)，并會(huì)使用matplotlib展現(xiàn)數(shù)據(jù)。

2、數(shù)學(xué)、統(tǒng)計(jì)和數(shù)據(jù)挖掘

除了數(shù)學(xué)、統(tǒng)計(jì)方面的素養(yǎng)之外，還需要具備使用SPSS、SAS等主流統(tǒng)計(jì)分析軟件的技能。其中，面向統(tǒng)計(jì)分析的開源編程語言及其運(yùn)行環(huán)境「R」最近備受矚目。R的強(qiáng)項(xiàng)不僅在于其包含了豐富的統(tǒng)計(jì)分析庫，而且具備將結(jié)果進(jìn)行可視化的高品質(zhì)圖表生成功能，并可以通過簡單的命令來運(yùn)行。此外，它還具備稱為CRAN(The Comprehensive R Archive Network)的包擴(kuò)展機(jī)制，通過導(dǎo)入擴(kuò)展包就可以使用標(biāo)準(zhǔn)狀態(tài)下所不支持的函數(shù)和數(shù)據(jù)集。

3、數(shù)據(jù)可視化

信息的質(zhì)量很大程度上依賴于其表達(dá)方式。對(duì)數(shù)字羅列所組成的數(shù)據(jù)中所包含的意義進(jìn)行分析，開發(fā)Web原型，使用外部API將圖表、地圖、Dashboard等其他服務(wù)統(tǒng)一起來，從而使分析結(jié)果可視化，這是對(duì)于數(shù)據(jù)科學(xué)家來說十分重要的技能之一。

4、領(lǐng)導(dǎo)力和軟技能

數(shù)據(jù)科學(xué)家不僅要具有黑客的頭腦，對(duì)數(shù)據(jù)有好奇心，還要對(duì)商業(yè)有熱情，是有影響力、有創(chuàng)造力，能解決問題的人。

總之，數(shù)據(jù)科學(xué)家之所以被稱為「科學(xué)家」，而區(qū)別于「數(shù)據(jù)工程師」和「數(shù)據(jù)分析師」，其根本在于對(duì)數(shù)據(jù)有極端敏銳的直覺和本質(zhì)的認(rèn)知，對(duì)問題和業(yè)務(wù)有深入的洞察和理解，因而能夠解決復(fù)雜數(shù)據(jù)帶來的問題。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。