大數(shù)據(jù)時(shí)代之后智能數(shù)據(jù)湖勢(shì)在必行

大數(shù)據(jù) 時(shí)代智能數(shù)據(jù)

Harris | 2017-06-20 11:45

【數(shù)據(jù)猿導(dǎo)讀】　以往人們關(guān)注了社交，移動(dòng)和云平臺(tái)的應(yīng)用與發(fā)展。同樣重要的是，在大數(shù)據(jù)時(shí)代之后涌現(xiàn)出的幾種輔助技術(shù)得到了蓬勃發(fā)展，由此產(chǎn)生的基礎(chǔ)架構(gòu)，架構(gòu)，以及IT挑戰(zhàn)表明，整個(gè)數(shù)據(jù)環(huán)境發(fā)生了模式轉(zhuǎn)變，這種變化是由改變業(yè)務(wù)進(jìn)行方式的力量的開(kāi)始決定的。

大數(shù)據(jù)時(shí)代之后智能數(shù)據(jù)湖勢(shì)在必行

由大數(shù)據(jù)觸發(fā)的數(shù)據(jù)驅(qū)動(dòng)的做法是一種最好的理解。如今，各個(gè)組織正在各種數(shù)據(jù)結(jié)構(gòu)，格式和分布式地理數(shù)據(jù)源位置等方面進(jìn)行競(jìng)爭(zhēng)，并在時(shí)間框架和數(shù)量上超過(guò)了現(xiàn)有系統(tǒng)的能力。

以往人們關(guān)注了社交，移動(dòng)和云平臺(tái)的應(yīng)用與發(fā)展。同樣重要的是，在大數(shù)據(jù)時(shí)代之后涌現(xiàn)出的幾種輔助技術(shù)得到了蓬勃發(fā)展，由此產(chǎn)生的基礎(chǔ)架構(gòu)，架構(gòu)，以及IT挑戰(zhàn)表明，整個(gè)數(shù)據(jù)環(huán)境發(fā)生了模式轉(zhuǎn)變，這種變化是由改變業(yè)務(wù)進(jìn)行方式的力量的開(kāi)始決定的。

由于這種轉(zhuǎn)變的迅速性和其需求的即時(shí)性，許多組織希望在市場(chǎng)上尋找最好的解決方案，并有大量的點(diǎn)解決方案來(lái)解決數(shù)據(jù)景觀的大規(guī)模系統(tǒng)變化，而這些零碎的方法在短期內(nèi)提供有限的價(jià)值，但是由于供應(yīng)商的鎖定和業(yè)務(wù)的需求不斷變化，長(zhǎng)期來(lái)說(shuō)其最終成本更高。

此外，即時(shí)的反應(yīng)需要不同的工具來(lái)管理大數(shù)據(jù)的每個(gè)方面復(fù)雜的架構(gòu)，同時(shí)耗費(fèi)大量的時(shí)間。這種方法的根本缺陷是，這樣的工具不是明確設(shè)計(jì)用于大數(shù)據(jù)，這限制了其在大數(shù)據(jù)革命后的價(jià)值。

大數(shù)據(jù)的涌入指出了一系列跨行業(yè)因素產(chǎn)生創(chuàng)新的方式，從最初的采納到分析。這些普遍存在的市場(chǎng)力量對(duì)于為數(shù)據(jù)管理過(guò)程的每個(gè)方面需要針對(duì)大數(shù)據(jù)技術(shù)設(shè)計(jì)的全面方法是有幫助的。

大量的數(shù)據(jù)使得需要一個(gè)集中的平臺(tái)，應(yīng)對(duì)當(dāng)今和未來(lái)的數(shù)據(jù)驅(qū)動(dòng)實(shí)踐的每一個(gè)方面，最好以終端用戶管理的自助服務(wù)智能數(shù)據(jù)湖的形式實(shí)現(xiàn)。

無(wú)處不在的市場(chǎng)力量

了解負(fù)責(zé)重塑數(shù)據(jù)環(huán)境的市場(chǎng)力量的性質(zhì)，需要在技術(shù)和非技術(shù)方面對(duì)其進(jìn)行分析。在前者中，對(duì)SMAC(社交，移動(dòng)，分析和云計(jì)算)的依賴代表了訪問(wèn)大數(shù)據(jù)手段的最大決定因素。這些技術(shù)深深地影響了大數(shù)據(jù)對(duì)企業(yè)的獲取形式和形式。它們最顯著的效果可能是它們所使用外部數(shù)據(jù)創(chuàng)造的前所未有的價(jià)值，這反過(guò)來(lái)又有助于強(qiáng)調(diào)這種數(shù)據(jù)與內(nèi)部數(shù)據(jù)的集成。同樣，他們負(fù)責(zé)多元結(jié)構(gòu)數(shù)據(jù)的突出和其固有價(jià)值的企業(yè)的復(fù)雜性。

這種復(fù)雜數(shù)據(jù)格式所帶來(lái)的新穎的復(fù)雜性通過(guò)單一集中的語(yǔ)義平臺(tái)的流線型架構(gòu)而被均勻地緩解。具體來(lái)說(shuō)，通過(guò)在RDF圖上鏈接在一起的演進(jìn)的語(yǔ)義模型來(lái)無(wú)縫地合并數(shù)據(jù)源和類型的多樣性的多結(jié)構(gòu)化格式。在該框架內(nèi)，所有數(shù)據(jù)元素以標(biāo)準(zhǔn)化方式彼此并排表示，代替了對(duì)傳統(tǒng)方法所要求的各種結(jié)構(gòu)化數(shù)據(jù)管理不同數(shù)據(jù)庫(kù)，數(shù)據(jù)模型和模式的需要。在這樣的獨(dú)特平臺(tái)中，其架構(gòu)和底層基礎(chǔ)設(shè)施被明顯簡(jiǎn)化，相應(yīng)地降低了成本。

非技術(shù)力量的典型代表是加速的業(yè)務(wù)步伐，并在這些縮短的時(shí)間框架內(nèi)解析的數(shù)據(jù)量。企業(yè)進(jìn)行的速度會(huì)受到互聯(lián)網(wǎng)的普遍性以及它在工作流中根深蒂固的實(shí)時(shí)響應(yīng)的巨大影響。這種權(quán)宜之計(jì)是大數(shù)據(jù)的其他規(guī)定，例如當(dāng)前流行的傳感器數(shù)據(jù)，移動(dòng)通信的快速性，以及這些因素能夠產(chǎn)生的機(jī)會(huì)的增加。在這些力量的影響的關(guān)鍵考慮是它們的臨時(shí)性質(zhì)。組織可以獲得更多的機(jī)會(huì)，但他們也稍縱即逝，需要對(duì)時(shí)間敏感的方法來(lái)利用數(shù)據(jù)。

綜合平臺(tái)解決了這些加速的時(shí)間問(wèn)題，使終端用戶在決策和基于分析的行動(dòng)階段比零碎的方法更快。對(duì)單個(gè)節(jié)點(diǎn)的語(yǔ)義圖表示適當(dāng)?shù)募铀僬{(diào)整模式和重新調(diào)整了模型與其他方法的奇異性。加速了整個(gè)數(shù)據(jù)準(zhǔn)備過(guò)程，這可以壟斷最好的數(shù)據(jù)科學(xué)家的時(shí)間，或者最基本的以數(shù)據(jù)為中心的需求過(guò)分依賴IT。用戶能夠投入更多的時(shí)間用于數(shù)據(jù)發(fā)現(xiàn)和分析，分享現(xiàn)代企業(yè)制定的速度。

解決常規(guī)問(wèn)題

上述力量已經(jīng)塑造了數(shù)據(jù)環(huán)境，由于日益分層的數(shù)據(jù)管理過(guò)程的必要性，導(dǎo)致集中的語(yǔ)義平臺(tái)廣泛的問(wèn)題。來(lái)自SMAC技術(shù)的多結(jié)構(gòu)化數(shù)據(jù)以快速交付的大量數(shù)據(jù)可能對(duì)數(shù)據(jù)格局的常規(guī)領(lǐng)域造成嚴(yán)重破壞，包括：信息治理，數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)集成，搜索和發(fā)現(xiàn)，商業(yè)智能和文本分析。

當(dāng)考慮采用點(diǎn)解決方法的孤島方式處理數(shù)據(jù)的這些方面時(shí)，容易成為供應(yīng)商鎖定或昂貴的更新的犧牲品，從而產(chǎn)生大量的停機(jī)時(shí)間。這種方法最大的問(wèn)題是，當(dāng)業(yè)務(wù)需求或流程改變時(shí)，會(huì)缺乏靈活性，任務(wù)組織重新啟動(dòng)手段實(shí)現(xiàn)，這六個(gè)重要功能之一。因此，當(dāng)他們的系統(tǒng)不能產(chǎn)生價(jià)值，同時(shí)被迫采用更多的系統(tǒng)維護(hù)時(shí)，組織會(huì)花費(fèi)更多的時(shí)間。

集中式方法的核心價(jià)值主張是實(shí)現(xiàn)數(shù)據(jù)使用的所有必要條件的整體方式。通過(guò)向現(xiàn)有系統(tǒng)提供必要的覆蓋，該方法能夠在短期和長(zhǎng)期中實(shí)現(xiàn)收益。立即獲益包括更大程度的企業(yè)治理監(jiān)督，部分通過(guò)標(biāo)準(zhǔn)化建模促進(jìn)，在大多數(shù)情況下，包括所有企業(yè)數(shù)據(jù)。隨后，數(shù)據(jù)來(lái)源和數(shù)據(jù)建模更容易解釋，并且更易于追蹤，這加速了集成嘗試。其結(jié)果是更快地洞察在組織范圍內(nèi)的治理協(xié)議與高度可見(jiàn)的數(shù)據(jù)，增加對(duì)數(shù)據(jù)資產(chǎn)的信任。

隨后的收益與這種洞察的性質(zhì)有關(guān)，遠(yuǎn)遠(yuǎn)超過(guò)從點(diǎn)解決方案中收集的收益。語(yǔ)義圖的鏈接數(shù)據(jù)方法集中于節(jié)點(diǎn)之間的關(guān)系洞察，這有助于其他技術(shù)無(wú)與倫比的看似無(wú)關(guān)的數(shù)據(jù)元素的背景文化。用戶能夠有更多的數(shù)據(jù)，以識(shí)別他們之間的關(guān)系，以及他們的使用情況，否則是無(wú)法發(fā)現(xiàn)的。

此外，這種鏈接數(shù)據(jù)方法使數(shù)據(jù)發(fā)現(xiàn)過(guò)程在很大程度上實(shí)現(xiàn)了自動(dòng)化，同時(shí)提供了探索性分析，用戶可以在其中詢問(wèn)和回答盡可能多的問(wèn)題。分析的結(jié)果是全面明確，并且包羅萬(wàn)象。采取零碎的方法，實(shí)現(xiàn)這些目標(biāo)是困難的。。

預(yù)期未來(lái)的發(fā)展

培養(yǎng)對(duì)集中化需求的最緊迫的營(yíng)銷力量是大數(shù)據(jù)本身日益擴(kuò)大的影響。對(duì)未來(lái)幾年生產(chǎn)的數(shù)據(jù)量的預(yù)測(cè)表明，其擴(kuò)張并不會(huì)停止和停滯。當(dāng)考慮連接的設(shè)備的數(shù)量全部無(wú)限地在物聯(lián)網(wǎng)中產(chǎn)生數(shù)據(jù)，以及增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的進(jìn)步，并考慮這樣的數(shù)據(jù)的人工智能選項(xiàng)的可用性時(shí)，顯而易見(jiàn)的是大數(shù)據(jù)的規(guī)模，速度，結(jié)構(gòu)將在不久的將來(lái)大量增加。

集中的圖形感知環(huán)境為這些即將到來(lái)的技術(shù)進(jìn)步做好準(zhǔn)備。使用它作為hadoop或其他數(shù)據(jù)湖設(shè)置的基礎(chǔ)，使其具有在這種工作負(fù)載密集型數(shù)據(jù)驅(qū)動(dòng)部署中持續(xù)提供價(jià)值所需的規(guī)模和性能一致性。更重要的是，它是一個(gè)單一的手段簡(jiǎn)化每個(gè)組件的短期解決方案，點(diǎn)解決方案不是為大數(shù)據(jù)的需求而創(chuàng)建的。這種方法對(duì)于目前來(lái)說(shuō)是不夠的，并且對(duì)于未來(lái)大數(shù)據(jù)應(yīng)用的更嚴(yán)格的負(fù)擔(dān)當(dāng)然不可行。這樣的實(shí)現(xiàn)僅僅支持這樣的觀念：集中的，關(guān)系精明的語(yǔ)義圖解表示用于以管理數(shù)據(jù)為中心的需求的工業(yè)力量的融合。

必要的集中

從大數(shù)據(jù)的變革性可以看出，無(wú)論何處部署數(shù)據(jù)都可以提高業(yè)務(wù)價(jià)值。它的增長(zhǎng)可以歸因于業(yè)務(wù)加速，支持技術(shù)的新生態(tài)系統(tǒng)，以及企業(yè)中數(shù)據(jù)類型的多樣性的快速發(fā)展。它只有單純的市場(chǎng)力量，需要一個(gè)整體的手段來(lái)管理每個(gè)謹(jǐn)慎的組件轉(zhuǎn)換數(shù)據(jù)到洞察行動(dòng)。這些力量的影響是消除對(duì)現(xiàn)有基礎(chǔ)設(shè)施簡(jiǎn)單地附加一些附加工具的需要。

相反，它強(qiáng)制要求簡(jiǎn)化企業(yè)架構(gòu)，實(shí)施成本效益好的基礎(chǔ)設(shè)施，用于包圍企業(yè)的大量數(shù)據(jù)類型和技術(shù)，并且監(jiān)督長(zhǎng)期重用數(shù)據(jù)所需的組織范圍治理和來(lái)源。如今的市場(chǎng)力量促成了對(duì)這種整體數(shù)據(jù)管理的需求同，而未來(lái)是強(qiáng)制性的。

來(lái)源：機(jī)房360

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。