物聯(lián)網(wǎng)深入發(fā)展將如何改變大數(shù)據(jù)分析

物聯(lián)網(wǎng) 發(fā)展大數(shù)據(jù) 分析

CIO時(shí)代網(wǎng) | 2017-09-13 14:31

【數(shù)據(jù)猿導(dǎo)讀】數(shù)據(jù)一直在業(yè)務(wù)中發(fā)揮關(guān)鍵作用，但大數(shù)據(jù)分析的興起，大量存儲(chǔ)的信息可以在計(jì)算上挖掘出來(lái)，揭示有價(jià)值的見(jiàn)解、模式和趨勢(shì)，使其在現(xiàn)代商業(yè)領(lǐng)域幾乎不可或缺。收集和分析這些數(shù)據(jù)并將其轉(zhuǎn)化為可行的結(jié)果的能力是成功的關(guān)鍵。

物聯(lián)網(wǎng)深入發(fā)展將如何改變大數(shù)據(jù)分析

數(shù)據(jù)一直在業(yè)務(wù)中發(fā)揮關(guān)鍵作用，但大數(shù)據(jù)分析的興起，大量存儲(chǔ)的信息可以在計(jì)算上挖掘出來(lái)，揭示有價(jià)值的見(jiàn)解、模式和趨勢(shì)，使其在現(xiàn)代商業(yè)領(lǐng)域幾乎不可或缺。收集和分析這些數(shù)據(jù)并將其轉(zhuǎn)化為可行的結(jié)果的能力是成功的關(guān)鍵。

隨著物聯(lián)網(wǎng)的發(fā)展，這一過(guò)程變得越來(lái)越復(fù)雜，在日常生活中，從車輛到商店展示，到智能家居自動(dòng)化技術(shù)，如恒溫器和水位顯示器，都能產(chǎn)生大量的數(shù)據(jù)。物聯(lián)網(wǎng)帶來(lái)了各種新的分析挑戰(zhàn)，而更快適應(yīng)這一新現(xiàn)實(shí)的企業(yè)將獲得明顯的優(yōu)勢(shì)。

改變基礎(chǔ)設(shè)施的需求

物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)面臨的主要問(wèn)題之一就是它的規(guī)模。英特爾公司估計(jì)，到2020年，多達(dá)2000億臺(tái)智能設(shè)備將在線運(yùn)行，以及約54億個(gè)具有物聯(lián)網(wǎng)功能的B2B設(shè)備。這意味著任何尋求利用物聯(lián)網(wǎng)數(shù)據(jù)的企業(yè)必須首先投資于處理數(shù)據(jù)量驚人所需的基礎(chǔ)架構(gòu)，其中大部分將是原始的和未標(biāo)準(zhǔn)化的。數(shù)據(jù)湖和分布式服務(wù)器集群可能成為存儲(chǔ)此數(shù)據(jù)所必需的，控制數(shù)據(jù)流對(duì)于管理帶寬和網(wǎng)絡(luò)成本是必不可少的。

新的分析挑戰(zhàn)

除了物聯(lián)網(wǎng)產(chǎn)生的大量數(shù)據(jù)之外，數(shù)據(jù)本身也提出了一個(gè)問(wèn)題。大多數(shù)傳感器產(chǎn)生的數(shù)據(jù)是相對(duì)嘈雜和非標(biāo)準(zhǔn)化的，大部分?jǐn)?shù)據(jù)是實(shí)時(shí)數(shù)據(jù)流的形式。這些事實(shí)需要一種新的分析方法，軟件堆棧能夠快速分類，處理和分析大量的數(shù)據(jù)。在數(shù)據(jù)被正確處理之后，下一個(gè)挑戰(zhàn)是挖掘這些不同的信息源以產(chǎn)生可操作的數(shù)據(jù)。

技能分析師日益增長(zhǎng)的需求

隨著更復(fù)雜分析的需要，需要更多和更熟練的數(shù)據(jù)分析師。從物聯(lián)網(wǎng)數(shù)據(jù)流中吸取有用的見(jiàn)解需要高超的技能，不僅要管理數(shù)據(jù)本身，還要確定最有效的焦點(diǎn)區(qū)域。大數(shù)據(jù)框架(如hadoop和Spark)以及R數(shù)據(jù)編程語(yǔ)言的專長(zhǎng)正在迅速成為管理物聯(lián)網(wǎng)生成數(shù)據(jù)的關(guān)鍵，業(yè)務(wù)分析越來(lái)越依賴于復(fù)雜的技能集，其中包括機(jī)器學(xué)習(xí)，復(fù)雜算法，深度學(xué)習(xí)，復(fù)雜事件處理等。

從數(shù)量提取質(zhì)量

調(diào)查顯示，96%的企業(yè)遇到通過(guò)其接收的數(shù)據(jù)量進(jìn)行過(guò)濾的問(wèn)題，而這個(gè)問(wèn)題只會(huì)因?yàn)榇罅啃聰?shù)據(jù)的涌入而加劇。大數(shù)據(jù)本身沒(méi)有什么用途。其它真正的價(jià)值在于從這個(gè)數(shù)量中提取質(zhì)量并產(chǎn)生有意義的見(jiàn)解。消除噪音的一個(gè)重要方法是使用過(guò)濾器來(lái)消除多余的數(shù)據(jù)。物聯(lián)網(wǎng)數(shù)據(jù)通常是高度粒度的，大多數(shù)企業(yè)不需要這樣的詳細(xì)信息。使用算法驅(qū)動(dòng)的過(guò)濾器將這些數(shù)據(jù)壓縮成更實(shí)際的時(shí)間間隔中，顯著地減少了要分析的數(shù)據(jù)量，而不會(huì)影響其質(zhì)量，從而使其更有價(jià)值。此外，由于物聯(lián)網(wǎng)傳感器已經(jīng)廣泛存在，而且很快就會(huì)普及，將有用的數(shù)據(jù)源從那些不需要的地方進(jìn)行排序?qū)⑹亲钪匾摹?/p>

新的安全范式

由于物聯(lián)網(wǎng)由廣泛的設(shè)備，通信協(xié)議和數(shù)據(jù)類型組成，為了保護(hù)其產(chǎn)生的數(shù)據(jù)，這要求企業(yè)必須準(zhǔn)備迎接新挑戰(zhàn)。許多數(shù)據(jù)安全專業(yè)人員在處理物聯(lián)網(wǎng)數(shù)據(jù)方面根本沒(méi)有太多經(jīng)驗(yàn)，而且新的來(lái)源和技術(shù)卻快速到來(lái)，隨著安全威脅的增加，需要企業(yè)提高警覺(jué)性和靈活性。妥善保護(hù)物聯(lián)網(wǎng)數(shù)據(jù)將需要所有新的安全措施和協(xié)議專門(mén)設(shè)計(jì)來(lái)滿足這一新的現(xiàn)實(shí)。

物聯(lián)網(wǎng)已經(jīng)經(jīng)歷了快速增長(zhǎng)，似乎有望成為業(yè)務(wù)分析未來(lái)的浪潮，但它仍然是一個(gè)新興的技術(shù)。它產(chǎn)生的大量數(shù)據(jù)將只會(huì)增長(zhǎng)，并變得更加復(fù)雜，現(xiàn)在投資于基礎(chǔ)設(shè)施和需要處理的技術(shù)人員將在未來(lái)得到回報(bào)。負(fù)擔(dān)得起的，可擴(kuò)展的，持久的存儲(chǔ)將是至關(guān)重要的，數(shù)據(jù)分析師也將具備適應(yīng)大數(shù)據(jù)快速變化現(xiàn)實(shí)的技能和經(jīng)驗(yàn)。未來(lái)即將到來(lái)，必須進(jìn)行適當(dāng)?shù)囊?guī)劃和準(zhǔn)備。

來(lái)源：CIO時(shí)代網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。