妥妥滴干貨大數(shù)據(jù)時(shí)代下你必須知道的大規(guī)律

大數(shù)據(jù) 規(guī)律物聯(lián)網(wǎng) 云計(jì)算

199IT | 2016-01-08 10:07

【數(shù)據(jù)猿導(dǎo)讀】要相信，任何事物都是有規(guī)律可循的，大數(shù)據(jù)也不例外，它沒有你想的那么神乎。在進(jìn)行數(shù)據(jù)分析時(shí)，完全的自我創(chuàng)造是不可取的，那為什么不遵循前人摸索出來的實(shí)戰(zhàn)經(jīng)驗(yàn)?zāi)兀疚慕o大家分享一些有關(guān)大數(shù)據(jù)的經(jīng)驗(yàn)和規(guī)律

大數(shù)據(jù)正在改變我們的生活，影響我們思考和解決問題的方式，為了適應(yīng)時(shí)代的潮流，組織必須學(xué)會(huì)用數(shù)據(jù)說話，如果坐擁大量的數(shù)據(jù)卻束手無策或無動(dòng)于衷，那和沒有數(shù)據(jù)是一樣的。但是，在進(jìn)行數(shù)據(jù)分析時(shí)，完全的自我創(chuàng)造是不可取的，因?yàn)橛写罅靠梢宰裱徒梃b的經(jīng)驗(yàn)?zāi)芄?jié)約大量的時(shí)間和成本。最近，OrionX.net的聯(lián)合創(chuàng)始人Shahin Khan就發(fā)表了一篇文章，介紹了他的團(tuán)隊(duì)從大數(shù)據(jù)、物聯(lián)網(wǎng)和云計(jì)算市場(chǎng)上總結(jié)的經(jīng)驗(yàn)和規(guī)律。

1、保留數(shù)據(jù)的成本要比刪除數(shù)據(jù)的成本低。另外，還要有多個(gè)備份。

正因?yàn)楸Ａ袅俗銐蚨嗟臄?shù)據(jù)，大數(shù)據(jù)才成為可能，因此無論如何都不要?jiǎng)h除數(shù)據(jù)，因?yàn)槟悴恢朗裁磿r(shí)候會(huì)用到它，刪除這些數(shù)據(jù)會(huì)有哪些法律風(fēng)險(xiǎn)。保留數(shù)據(jù)的成本很低，另外，如果將來發(fā)生了什么事情，你也能從這些數(shù)據(jù)中找到證據(jù)。

2、無論開始收集數(shù)據(jù)的動(dòng)機(jī)是什么，它們都會(huì)導(dǎo)致你收集更多的數(shù)據(jù)。

大部分?jǐn)?shù)據(jù)收集工作關(guān)注于正在進(jìn)行的活動(dòng)，但一旦知道了如何使用這些數(shù)據(jù)，獲取更多數(shù)據(jù)的意愿就會(huì)增加。

3、大數(shù)據(jù)系統(tǒng)開始較小，但慢慢會(huì)變大，沒有中間大小。

很少有中等規(guī)模的大數(shù)據(jù)系統(tǒng)，一旦某個(gè)項(xiàng)目的理念被證明是有前景的，那么它很快就會(huì)變大，并在迅速發(fā)展的同時(shí)孵化新項(xiàng)目。

4、數(shù)據(jù)必須流向有價(jià)值的地方，要考慮功能的上下文有什么價(jià)值。

未使用的數(shù)據(jù)是一種閑置的資產(chǎn)，很有可能會(huì)造成價(jià)值的貶值。如果將大數(shù)據(jù)看做是工作流，那么必須將數(shù)據(jù)流向最有價(jià)值的地方。永遠(yuǎn)都不要假設(shè)你知道原因是什么，有什么影響。

5、大數(shù)據(jù)的大部分應(yīng)用場(chǎng)景都是有價(jià)值的，值得付出努力，但是它的因果關(guān)系非常復(fù)雜，數(shù)據(jù)的不完整、用戶的偏見不可避免。

6、有關(guān)數(shù)據(jù)與無關(guān)數(shù)據(jù)之間的比率將逐漸趨向于零。

數(shù)據(jù)有很多，但通常情況下大部分都是無用的，只有一少部分有價(jià)值。收集的數(shù)據(jù)越多，這種現(xiàn)象越明顯，也就是說無關(guān)數(shù)據(jù)的增長速度要遠(yuǎn)高于相關(guān)數(shù)據(jù)的增長速度。

7、分析的最終目的是合成。

分析完成之后便需要合成，當(dāng)然這需要引入機(jī)器學(xué)習(xí)和認(rèn)知算法。

8、時(shí)間=金錢=數(shù)據(jù)。

數(shù)據(jù)是一種資產(chǎn)，雖然它可以升值，但大多數(shù)時(shí)候隨著新數(shù)據(jù)替代老數(shù)據(jù)，歷史數(shù)據(jù)的價(jià)值會(huì)越來越低，因?yàn)樗南嚓P(guān)性會(huì)越來越差。所以必須知道數(shù)據(jù)的“利率”，知道它貶值的速度有多快。

9、容量大—速度快—種類多—價(jià)值密度低 vs. 不可再現(xiàn)—不相關(guān)—不完整—不正確。

數(shù)據(jù)的質(zhì)量直接影響數(shù)據(jù)挖掘的質(zhì)量。

10、給你足夠的數(shù)據(jù)，你就能證明事物的“正反兩面”。

數(shù)據(jù)量越大，從中找到有價(jià)值信息的難度就越大，數(shù)據(jù)的復(fù)雜性、不合理的動(dòng)機(jī)和無知都可能會(huì)造成無效的結(jié)論;但另一方面，數(shù)據(jù)越多，支持假設(shè)的證據(jù)就會(huì)越充分，通過完全科學(xué)的方法，有時(shí)這種支持率甚至?xí)饾u接近100%。

11、大數(shù)據(jù)的結(jié)論開始通常是有趣但無用的，但最終會(huì)變成有效且有用的。

在新媒體時(shí)代，有趣但膚淺的內(nèi)容要比深刻有見地的內(nèi)容多得多，價(jià)值挖掘需要對(duì)數(shù)據(jù)有深刻的理解，但這需要時(shí)間。

12、隨著數(shù)據(jù)量的增長，大數(shù)據(jù)和高性能計(jì)算(HPC)需要結(jié)合在一起。

如果有200行數(shù)據(jù)，可以使用電子表格;但如果有20億行數(shù)據(jù)，就必須使用HPC。此外，隨著數(shù)據(jù)量的增長，大數(shù)據(jù)和高性能計(jì)算(HPC)需要結(jié)合在一起。

來源：199IT

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。