一文為你解析：偽數(shù)據(jù)科學(xué)家 VS 真數(shù)據(jù)科學(xué)家

解析數(shù)據(jù) 科學(xué)家

36大數(shù)據(jù) | 2017-08-07 10:31

【數(shù)據(jù)猿導(dǎo)讀】如今數(shù)據(jù)科學(xué)書籍、認證和文憑，如雨后春筍般層出不窮。但許多僅僅是鏡花水月：許多人鉆了這一新名詞的空子，將舊酒（比如統(tǒng)計學(xué)和R編程）放在了“數(shù)據(jù)科學(xué)”這個新瓶里。

一文為你解析：偽數(shù)據(jù)科學(xué)家 VS 真數(shù)據(jù)科學(xué)家

如今數(shù)據(jù)科學(xué)書籍、認證和文憑，如雨后春筍般層出不窮。但許多僅僅是鏡花水月：許多人鉆了這一新名詞的空子，將舊酒(比如統(tǒng)計學(xué)和R編程)放在了“數(shù)據(jù)科學(xué)”這個新瓶里。本文選自《數(shù)據(jù)天才：數(shù)據(jù)科學(xué)家修煉之道》。

R語言編程跟偽數(shù)據(jù)科學(xué)為何扯上了關(guān)系

R是一種有20多年歷史的開源統(tǒng)計編程語言及編譯環(huán)境，是商業(yè)化產(chǎn)品S+的后繼者。R一直以來都局限于內(nèi)存數(shù)據(jù)處理，在統(tǒng)計圈子里非常流行，并因其出色的可視化效果為人稱道。一些新型的開發(fā)環(huán)境通過創(chuàng)建R程序包或者將其擴展到分布式架構(gòu)里(比如將R與Hadoop結(jié)合的RHadoop)，將R(限于在內(nèi)存里處理數(shù)據(jù))的能力擴大。其他程序語言當(dāng)然也存在跟偽數(shù)據(jù)科學(xué)沾邊的情況，比如說SAS，但不及R這么流行。說到SAS，它價格高昂，在政府機構(gòu)或者實體企業(yè)的應(yīng)用更為廣泛。但在過去10年數(shù)據(jù)快速增長的領(lǐng)域(如搜索引擎、社交媒體、移動數(shù)據(jù)、協(xié)同過濾推薦等)運用不多。R跟C、Perl或者Python的語法不一樣(后三者語法根源一樣)，其簡易性使得寫R的程序員比較廣泛。R還有很多程序包和不錯的用戶界面，SAS卻難學(xué)很多。

管理決策層在搭建其數(shù)據(jù)科學(xué)家團隊時，有時也不是很清楚他們想要的到底是什么。

他們往往最終招募的是很純粹的技術(shù)極客、計算機科學(xué)家，或者缺乏恰當(dāng)大數(shù)據(jù)經(jīng)驗的人。人力資源部門對于數(shù)據(jù)科學(xué)的了解也不會好到哪里，因此導(dǎo)致更為嚴重的問題，他們給出的招聘廣告就是不斷重復(fù)類似的關(guān)鍵詞：Java、Python、MapReduce、R、Hadoop和NoSQL。

數(shù)據(jù)科學(xué)真的就是這些技能的混合嗎

MapReduce只是一個將數(shù)據(jù)分解為子集，在不同機器上分開處理，并把所有結(jié)果集合起來，從而處理大數(shù)據(jù)的泛化框架。因此它涉及的是處理大數(shù)據(jù)的分布式框架，用到的這些服務(wù)器和設(shè)備則組成云(Cloud)。

Hadoop是MapReduce的一種實現(xiàn)，就像C++是面向?qū)ο缶幊痰膶崿F(xiàn)一樣。

NoSQL意味著“Not Only SQL(意為不單只是SQL)”，是指能更新穎、更高效地訪問(比如MapReduce)數(shù)據(jù)的數(shù)據(jù)庫或數(shù)據(jù)庫管理系統(tǒng)，有時它是作為SQL(標準數(shù)據(jù)庫查詢語言)之下的隱藏層而存在的。

除了MapReduce以外，還有其他框架——例如，圖形數(shù)據(jù)庫和環(huán)境，它們依賴于節(jié)點和邊這類概念，來管理和訪問數(shù)據(jù)(通常是空間數(shù)據(jù))。這些概念并不一定是新的。在谷歌存在之前，分布式體系結(jié)構(gòu)已被應(yīng)用到搜索技術(shù)環(huán)境中了。15年前，我寫Perl腳本進行哈希連接(一種NoSQL連接，用來連接或合并數(shù)據(jù)庫中的兩個表)。然而，現(xiàn)在一些數(shù)據(jù)庫廠商提供的哈希連接，是SQL連接的一個快速替代品。哈希連接在本書后面還會討論到。它們使用哈希表，并依賴于名稱-值對的形式。我想說的結(jié)論是，有時MapReduce、NoSQL、Hadoop、Python(一種優(yōu)秀的腳本語言，往往用于處理文本和非結(jié)構(gòu)化數(shù)據(jù))會被認為是Perl的后繼者，但它們根源于幾十年前就開發(fā)出的系統(tǒng)和技術(shù)，只是在過去的10年里變得更成熟而已，但數(shù)據(jù)科學(xué)并不只是這些。

事實上，你可以成為一名真正的數(shù)據(jù)科學(xué)家，且不需要掌握這些技能。NoSQL和MapReduce不是新概念——在這些關(guān)鍵詞被創(chuàng)建之前，就有很多人接觸到它們。

成為一名數(shù)據(jù)科學(xué)家，你需要以下能力。

敏銳的商業(yè)頭腦。

真正的大數(shù)據(jù)專業(yè)知識(例如，可以在幾個小時內(nèi)快速地處理一個5 000萬行的數(shù)據(jù)集)。

認知數(shù)據(jù)的能力。

對模型具有猜疑精神。

了解大數(shù)據(jù)“詛咒”。

有能力溝通并理解管理人員正在試圖解決哪些問題。

能正確評估付你工資所能帶來的回報(ROI)或效益提升(lift)。

能夠快速地識別一個簡單的、健壯的、可擴展的解決方案。

能夠說服并推動管理人員，即使不情愿，也要為了公司、用戶和股東的利益，轉(zhuǎn)到正確的方向上。

真正熱愛數(shù)據(jù)分析。

成功案例的實際應(yīng)用經(jīng)驗。

數(shù)據(jù)架構(gòu)知識。

數(shù)據(jù)收集和清理技能。

計算復(fù)雜度的基礎(chǔ)知識——如何開發(fā)健壯的、高效的、可擴展的、可移植的架構(gòu)。

良好的算法知識。

數(shù)據(jù)科學(xué)家在商業(yè)分析、統(tǒng)計學(xué)和計算機科學(xué)等領(lǐng)域也是通才，比如會掌握這些專業(yè)知識：健壯性、實驗設(shè)計、算法復(fù)雜度、儀表盤和數(shù)據(jù)可視化。一些數(shù)據(jù)科學(xué)家也是數(shù)據(jù)策略師——他們可以開發(fā)數(shù)據(jù)收集策略，并使用數(shù)據(jù)來發(fā)現(xiàn)可操作的、能對商業(yè)產(chǎn)生影響的見解。這就要求數(shù)據(jù)科學(xué)家具有創(chuàng)造性，能根據(jù)業(yè)務(wù)要求，制定分析、提出解決方案。

要理解數(shù)據(jù)科學(xué)，所需的基本數(shù)學(xué)知識包括：

代數(shù)，如果可能的話，包括基本矩陣理論。

微積分入門課程。要掌握的理論不多，只需要理解計算的復(fù)雜度和O標記法即可。了解特殊函數(shù)，包括對數(shù)、指數(shù)、冪函數(shù)。微分方程、積分和復(fù)數(shù)不是必要的。

統(tǒng)計與概率的入門課程，要了解隨機變量、概率、均值、方差、百分位數(shù)、實驗設(shè)計、交叉驗證、擬合度和穩(wěn)健統(tǒng)計的概念(不需要了解技術(shù)細節(jié)，而是達到本書介紹的程度即可)。

從技術(shù)的角度，要掌握的重要技能和知識有R、Python(或Perl)、Excel、SQL、圖形(可視化)、FTP、基本的UNIX命令(sort、grep、head、tail、管道和重定向操作符、cat、cron定時等)，以及對如何設(shè)計和訪問數(shù)據(jù)庫有基本了解。了解分布式系統(tǒng)如何工作和在哪里能發(fā)現(xiàn)瓶頸(是在硬盤和內(nèi)存之間的數(shù)據(jù)傳輸，還是在互聯(lián)網(wǎng)上)，這也很重要。最后，要了解網(wǎng)絡(luò)爬蟲基本知識，這有助于獲取互聯(lián)網(wǎng)上能找到的非結(jié)構(gòu)化數(shù)據(jù)。

偽數(shù)據(jù)科學(xué)的例子

這里有個偽數(shù)據(jù)科學(xué)的例子，說明數(shù)據(jù)科學(xué)家要開展工作，為什么需要遵循標準和最佳實踐。這里討論的例子，并不是說它們是不好的產(chǎn)品——實際上，它們有很多的內(nèi)在價值——但跟真的數(shù)據(jù)科學(xué)無關(guān)。原因有以下兩點：

首先，部分統(tǒng)計學(xué)家沒有參與到大數(shù)據(jù)革命中。雖然有些人還寫了關(guān)于應(yīng)用數(shù)據(jù)科學(xué)的書，但只是重新包裝原來的統(tǒng)計課程。

第二，適合大數(shù)據(jù)集的方法需要變化——按2005年的大數(shù)據(jù)定義，當(dāng)有2 000萬行數(shù)據(jù)時，才有資格成為大數(shù)據(jù)——但2010年后不能再這樣劃分，因為大數(shù)據(jù)至少是TB級的。

不少人認為數(shù)據(jù)科學(xué)是統(tǒng)計學(xué)的一個新名字，他們把數(shù)據(jù)科學(xué)和偽數(shù)據(jù)科學(xué)，以及2005年的大數(shù)據(jù)定義與2013年的大數(shù)據(jù)定義弄混淆了?，F(xiàn)代數(shù)據(jù)也有很大的不同，已經(jīng)被描述為3個V：速度(velocity)(實時、快速流動)、多樣化(variety)(結(jié)構(gòu)化、非結(jié)構(gòu)化，如微博內(nèi)容)和大數(shù)據(jù)量(volume)。我會增加真實性(veracity)和價值(value)。

例子：

某一本數(shù)據(jù)科學(xué)電子書

查看一所著名大學(xué)2012年的數(shù)據(jù)科學(xué)訓(xùn)練手冊，書的大部分內(nèi)容是關(guān)于舊的統(tǒng)計理論。這本書用R來說明各種概念。當(dāng)用邏輯回歸處理僅僅1萬行數(shù)據(jù)時，并不是大數(shù)據(jù)科學(xué)，它是偽數(shù)據(jù)科學(xué)。這本電子書全部關(guān)于小數(shù)據(jù)，最后幾章例外，在那里你會學(xué)到一點SQL(嵌入在R代碼中)的知識和如何使用R包從Twitter提取微博內(nèi)容，且創(chuàng)造出作者所說的詞云(它和云計算沒關(guān)系)。

即使提取Twitter內(nèi)容的項目也還是小數(shù)據(jù)，也沒有分布式體系結(jié)構(gòu)(例如，MapReduce)。事實上，該書從來沒有談到數(shù)據(jù)架構(gòu)。該書的水平是初級的。每章以簡單的方式(適合高中學(xué)生閱讀)簡短介紹大數(shù)據(jù)和數(shù)據(jù)科學(xué)，跟該書實際涉獵的小數(shù)據(jù)科學(xué)不搭，跟項目和技術(shù)展示脫節(jié)。

也許作者增加了這些簡短的段落，是為了可以將他的“R統(tǒng)計”的電子書，重新改名為“數(shù)據(jù)科學(xué)的介紹”。它是免費的、很好的、寫得很棒的書，且會使高中學(xué)生對統(tǒng)計和編程感興趣。但它與數(shù)據(jù)科學(xué)無關(guān)。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。