進(jìn)入大數(shù)據(jù)行業(yè)的公司，你必須了解這六個(gè)問(wèn)題

大數(shù)據(jù) 求職數(shù)據(jù)分析互聯(lián)網(wǎng)

大數(shù)據(jù)mp | 2016-04-19 10:19

【數(shù)據(jù)猿導(dǎo)讀】大數(shù)據(jù)是哲學(xué)層面上的問(wèn)題，屬于統(tǒng)計(jì)學(xué)范疇，部分揭示了大數(shù)據(jù)產(chǎn)業(yè)的本質(zhì)，但是實(shí)際上大數(shù)據(jù)這個(gè)概念自身就有著不同的詮釋。利用數(shù)據(jù)進(jìn)行軍事分析，產(chǎn)品定位，交通管理，風(fēng)險(xiǎn)管理，精準(zhǔn)營(yíng)銷等等，其實(shí)在幾十年前就有了

進(jìn)入大數(shù)據(jù)行業(yè)的公司，你必須了解這六個(gè)問(wèn)題

最早的保險(xiǎn)產(chǎn)品就是來(lái)源于偶然事件的概率分析，其參考?xì)v史數(shù)據(jù)分析，依據(jù)計(jì)算出的概率來(lái)，來(lái)對(duì)保險(xiǎn)產(chǎn)品進(jìn)行定價(jià)。中國(guó)古代的軍事學(xué)家孫臏在戰(zhàn)爭(zhēng)中，通過(guò)逐步減少行軍灶坑來(lái)迷惑對(duì)手，利用其師弟龐涓對(duì)數(shù)據(jù)信任，制造其帶領(lǐng)軍隊(duì)潰敗的假象，最后在對(duì)方輕敵冒進(jìn)的前提下，突襲了對(duì)手，贏得了戰(zhàn)爭(zhēng)勝利。因此數(shù)據(jù)分析其實(shí)在很久遠(yuǎn)的古代就存在了。為什么過(guò)去的數(shù)據(jù)分析換成了時(shí)髦的名稱大數(shù)據(jù)了呢?

相對(duì)于過(guò)去的數(shù)據(jù)，我們來(lái)討論大數(shù)據(jù)的含義：

1)過(guò)于一些記錄是以模擬形式出現(xiàn)的，或者以數(shù)據(jù)形式出現(xiàn)但是存貯在本地，不是公開(kāi)數(shù)據(jù)資源，沒(méi)有開(kāi)放給互聯(lián)網(wǎng)用戶，例如音樂(lè)、照片、視頻、監(jiān)控錄像等影音資料?，F(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大，并且放到了互聯(lián)網(wǎng)上，開(kāi)放給整個(gè)互聯(lián)網(wǎng)用戶，其數(shù)量之大是前所未有了。舉個(gè)例子Facebook每天有18億張照片上傳或被傳播，形成了海量的開(kāi)放數(shù)據(jù)。

2)移動(dòng)互聯(lián)網(wǎng)出現(xiàn)后，移動(dòng)設(shè)備的很多傳感器收集了大量的用戶點(diǎn)擊行為數(shù)據(jù),已知iphone有3個(gè)傳感器，三星有6個(gè)傳感器。它們每天產(chǎn)生了大量的點(diǎn)擊數(shù)據(jù)，這些數(shù)據(jù)被某些公司所有擁有，形成用戶大量行為數(shù)據(jù)。

3)移動(dòng)地圖出現(xiàn)后，例如高德、百度、google地圖，其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù)，這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)代表一個(gè)屬性或一個(gè)度量值，但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習(xí)慣，這些流數(shù)據(jù)經(jīng)頻率分析后會(huì)產(chǎn)生巨大的商業(yè)價(jià)值?；诘貓D產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型，在過(guò)去是不存在的。

4)進(jìn)入了社交網(wǎng)絡(luò)的年代后，互聯(lián)網(wǎng)行為主要由用戶參與創(chuàng)造，因此有大量的互聯(lián)網(wǎng)用戶創(chuàng)造出大量的社交行為數(shù)據(jù)。這些數(shù)據(jù)是過(guò)去不曾想像的，是海量的。某些數(shù)據(jù)代表特定人群的特點(diǎn)和個(gè)性。

5)電子商戶崛起帶來(lái)了大量網(wǎng)上交易行為，其產(chǎn)生了大量的交易數(shù)據(jù)，包含支付行為，查詢行為，物流運(yùn)輸、購(gòu)買行為等等，產(chǎn)生了海量的信息流和資金流數(shù)據(jù)。

6)傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后，用戶的搜索行為和提問(wèn)行為產(chǎn)生了海量數(shù)據(jù)。單位存貯價(jià)格的下降也為存儲(chǔ)這些數(shù)據(jù)提供了技術(shù)上的可能。

現(xiàn)在我們所指的大數(shù)據(jù)不同與過(guò)去傳統(tǒng)的數(shù)據(jù)，其產(chǎn)生方式、存儲(chǔ)載體、訪問(wèn)方式、表現(xiàn)形式、來(lái)源特點(diǎn)等都同傳統(tǒng)的數(shù)據(jù)不同。簡(jiǎn)單的講大數(shù)據(jù)范圍更接近于某個(gè)群體行為特點(diǎn)數(shù)據(jù)，全面的數(shù)據(jù)。移動(dòng)互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)創(chuàng)造出來(lái)了大量的行為數(shù)據(jù)。

大數(shù)據(jù)產(chǎn)業(yè)是朝陽(yáng)產(chǎn)業(yè)，任何一個(gè)想進(jìn)入此產(chǎn)業(yè)的公司和個(gè)人向先要思考好以下幾個(gè)問(wèn)題。

1數(shù)據(jù)在哪里?

2哪些是有用的數(shù)據(jù)?

3如何分析這些數(shù)據(jù)?(如何將非結(jié)構(gòu)化數(shù)據(jù)變成結(jié)構(gòu)化數(shù)據(jù))

4需要用數(shù)據(jù)解決的問(wèn)題是什么?或者是分析后數(shù)據(jù)后提出的觀點(diǎn)是什么?

5如何展現(xiàn)你的數(shù)據(jù)和推理?(圖形、圖表、曲線、分值、評(píng)價(jià)、歸類、等級(jí)、概率、模型等等，大數(shù)據(jù)要么解決目前的問(wèn)題，要么支持你的假設(shè)，要們引導(dǎo)出另一個(gè)未知觀點(diǎn))

6重新審核數(shù)據(jù)分析的邏輯和數(shù)據(jù)來(lái)源，是否可以展現(xiàn)一份可以經(jīng)過(guò)推敲的數(shù)據(jù)分析報(bào)告?

如果以上的問(wèn)題都可以解決，這時(shí)你可以進(jìn)入正產(chǎn)業(yè)。中國(guó)的大數(shù)據(jù)產(chǎn)業(yè)近幾年來(lái)逐漸升溫，政府有投入了大量的資金。目前正在困擾很多大數(shù)據(jù)公司的問(wèn)題是數(shù)據(jù)在哪里?目前我們了解的大數(shù)據(jù)來(lái)源主要有以下幾個(gè)方面：

1)電信運(yùn)行商(由于其提供互聯(lián)網(wǎng)接入服務(wù)，互聯(lián)網(wǎng)行為記錄數(shù)據(jù))

2)第三方支付(支付行為產(chǎn)生的資金流和信息流數(shù)據(jù))

3)電商平臺(tái)(阿里為代表，幾億的淘寶用戶和2萬(wàn)億的網(wǎng)絡(luò)購(gòu)買行為的數(shù)據(jù))

4)社交平臺(tái)(微信和微博為代表的社區(qū)網(wǎng)絡(luò)產(chǎn)生的互聯(lián)網(wǎng)行為數(shù)據(jù))

5)電子游戲平臺(tái)(大量用戶產(chǎn)生的數(shù)據(jù))

6)移動(dòng)入口產(chǎn)生大量數(shù)據(jù)(包含移動(dòng)APP，導(dǎo)航，地圖等)

7)搜索引擎上產(chǎn)生的數(shù)據(jù)

除了這些新興的大數(shù)據(jù)來(lái)源，其實(shí)在傳統(tǒng)行業(yè)，由于很多數(shù)據(jù)是不能公開(kāi)和共享的，還有很多大數(shù)據(jù)來(lái)源沒(méi)有被重點(diǎn)關(guān)注。例如：

1)政府掌握的經(jīng)濟(jì)社會(huì)的統(tǒng)計(jì)數(shù)據(jù)

2)金融行業(yè)內(nèi)部交易和支付數(shù)據(jù)

3)醫(yī)療行業(yè)的病歷數(shù)據(jù)

4)教育行業(yè)的考試數(shù)據(jù)

5)交通運(yùn)輸行業(yè)物流數(shù)據(jù)

6)科學(xué)研究方面大量重復(fù)的論文、專利、科研實(shí)驗(yàn)的數(shù)據(jù)

7)生物工程、農(nóng)林牧漁等方面的數(shù)據(jù)

目前在中國(guó)大數(shù)據(jù)產(chǎn)業(yè)投入最多的是政府，這是一個(gè)好事情，因?yàn)樵谥袊?guó)政府是最大數(shù)據(jù)的擁有者，最財(cái)大氣粗的投資者，最具有資源的市場(chǎng)參與者。如果政府可以有效利用手中的數(shù)據(jù)，經(jīng)過(guò)科學(xué)嚴(yán)謹(jǐn)?shù)姆治龊?，利用其進(jìn)行資源的配置、重大經(jīng)濟(jì)決策、市場(chǎng)未來(lái)趨勢(shì)預(yù)見(jiàn)、經(jīng)濟(jì)風(fēng)險(xiǎn)提示、產(chǎn)業(yè)管理、投資管理、財(cái)政費(fèi)用管理、等，將有利于政府進(jìn)行宏觀調(diào)控、技術(shù)干預(yù)、行政管理、資源配置、財(cái)富分配。同時(shí)也有助于政府提高對(duì)公共事務(wù)包含社會(huì)福利的管理水平。

但是我發(fā)現(xiàn)目前很多政府參與的大數(shù)據(jù)產(chǎn)業(yè)集中在兩個(gè)領(lǐng)域，第一個(gè)搭建云計(jì)算和云存儲(chǔ)平臺(tái)，利用政府具有的資源，委托研究機(jī)構(gòu)搭建政府主導(dǎo)的大數(shù)據(jù)生態(tài)圈，讓企業(yè)將數(shù)據(jù)提供出來(lái)，政府提過(guò)產(chǎn)業(yè)機(jī)構(gòu)來(lái)幫助企業(yè)分析數(shù)據(jù)，提供大數(shù)據(jù)解決方案。簡(jiǎn)單的講營(yíng)造大數(shù)據(jù)平臺(tái)和生態(tài)圈，從事大數(shù)據(jù)收集和開(kāi)發(fā)的工作。

第二個(gè)是委托具有大數(shù)據(jù)技術(shù)的公司，利用互聯(lián)網(wǎng)公開(kāi)的數(shù)據(jù)和政府擁有的數(shù)據(jù)進(jìn)行輿情監(jiān)控，了解自己重視和關(guān)心的焦點(diǎn)問(wèn)題，關(guān)注社會(huì)群體的輿論行為、社交行為，以及區(qū)域電商交易行為、服務(wù)投訴行為等等。簡(jiǎn)單的講是利用互聯(lián)網(wǎng)采集技術(shù)來(lái)了解輿情，作為一種情報(bào)輸入來(lái)幫助政府來(lái)制定工作決策。

這兩種參與方式我都不十分贊同，第一種明顯是過(guò)度參與市場(chǎng)，政府應(yīng)該制定規(guī)則來(lái)幫助大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展，而不是作為運(yùn)動(dòng)員參與產(chǎn)業(yè)發(fā)展。政府應(yīng)該制定相關(guān)制度，對(duì)不能采集和公開(kāi)的數(shù)據(jù)進(jìn)行管理，保護(hù)個(gè)體利益，同時(shí)應(yīng)對(duì)大數(shù)據(jù)技術(shù)公司提供研發(fā)資金支持，鼓勵(lì)大數(shù)據(jù)企業(yè)利用技術(shù)研發(fā)實(shí)力來(lái)推動(dòng)產(chǎn)業(yè)發(fā)展，幫企業(yè)解決問(wèn)題。千萬(wàn)不要搭建一個(gè)生態(tài)圈，產(chǎn)業(yè)平臺(tái)，政府委托的機(jī)構(gòu)會(huì)由于機(jī)制問(wèn)題，效率較低，對(duì)人才和資源造成浪費(fèi)，最終會(huì)阻礙這個(gè)產(chǎn)業(yè)發(fā)展。第二種雖然有部分積極意義，但是個(gè)人覺(jué)得輿情監(jiān)控產(chǎn)生不了巨大的社會(huì)經(jīng)濟(jì)價(jià)值，投入的資金不會(huì)有效幫助整個(gè)社會(huì)的發(fā)展，反而在某些方面束縛了部分合理的商業(yè)行為，由于我們國(guó)家老百姓自身文化和科學(xué)常識(shí)的不全面，群體輿論的導(dǎo)向不一定代表正確的方向。前瞻性的政治經(jīng)濟(jì)決策往往來(lái)源于具有遠(yuǎn)見(jiàn)卓識(shí)的領(lǐng)導(dǎo)者，想一想我們的朱隆基總理在98年的幾大經(jīng)濟(jì)決策，國(guó)企改革、金融改革、住房改革、大學(xué)生分配改革等等，如果采用輿情監(jiān)控所得出的結(jié)論，肯定不能夠推行，因?yàn)槠溆绊懘蠖鄶?shù)人的利益。但是正是這幾個(gè)重大經(jīng)濟(jì)決策，將中國(guó)經(jīng)濟(jì)的活力釋放出來(lái)，使中國(guó)經(jīng)濟(jì)保持15年左右的高速發(fā)展。

最后對(duì)本文進(jìn)行個(gè)總結(jié)，大數(shù)據(jù)產(chǎn)業(yè)是中國(guó)未來(lái)的希望，是未來(lái)的朝陽(yáng)行業(yè)，但各個(gè)企業(yè)不要過(guò)于冒進(jìn)，進(jìn)入這個(gè)產(chǎn)業(yè)的企業(yè)必須了解這六個(gè)問(wèn)題，找到解決這六個(gè)問(wèn)題的方法，以技術(shù)和數(shù)據(jù)為基礎(chǔ)，才能夠創(chuàng)造價(jià)值，通過(guò)大數(shù)據(jù)這個(gè)工具幫助和推動(dòng)傳統(tǒng)產(chǎn)業(yè)發(fā)展。政府在大數(shù)據(jù)產(chǎn)業(yè)的定位應(yīng)該清晰，千萬(wàn)不要成為產(chǎn)業(yè)的主要參與者，應(yīng)該從保護(hù)產(chǎn)業(yè)和個(gè)人、商業(yè)信息角度出發(fā)，成為產(chǎn)業(yè)規(guī)則制定者，產(chǎn)業(yè)技術(shù)投資者，大數(shù)據(jù)技術(shù)公司的投資者。政府應(yīng)該公布自己擁有的、不涉及國(guó)家利益和個(gè)人隱私，可以公開(kāi)的大數(shù)據(jù)，為大數(shù)據(jù)產(chǎn)業(yè)提供土壤和陽(yáng)光。政府應(yīng)該打破主要大數(shù)據(jù)公司對(duì)數(shù)據(jù)的壟斷、要求大數(shù)據(jù)擁有的公司將可以公開(kāi)的數(shù)據(jù)公開(kāi)，在保護(hù)客人和企業(yè)隱私前提下，為大數(shù)據(jù)產(chǎn)業(yè)提供數(shù)據(jù)來(lái)源。政府可以作為技術(shù)伯樂(lè)，推動(dòng)產(chǎn)業(yè)進(jìn)行技術(shù)升級(jí)換代，成為大數(shù)產(chǎn)業(yè)發(fā)展的助推火箭。

來(lái)源：大數(shù)據(jù)mp

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。