大數(shù)據(jù)分析的瓶頸已經(jīng)顯現(xiàn)，你遇到了嗎？

大數(shù)據(jù) 瓶頸數(shù)據(jù)融合

張小彥 | 2016-03-23 14:27

【數(shù)據(jù)猿導(dǎo)讀】未來，大數(shù)據(jù)在企業(yè)、事業(yè)、政府、社會管理和發(fā)展上的應(yīng)用將會更加廣泛，大數(shù)據(jù)所面臨的挑戰(zhàn)也會越來越多。就目前來看，大數(shù)據(jù)分析已經(jīng)出現(xiàn)了瓶頸問題，比如：數(shù)據(jù)融合問題

大數(shù)據(jù)分析的瓶頸已經(jīng)顯現(xiàn)，你遇到了嗎？

利用互聯(lián)網(wǎng)購物的營銷數(shù)據(jù)來追蹤和勾畫消費(fèi)行為并以此為據(jù)促銷是大數(shù)據(jù)應(yīng)用的成功典型案例。有些人已此將大數(shù)據(jù)吹得神乎其神，好像它能成為萬能藥。其實(shí)，這只是大數(shù)據(jù)應(yīng)用中的很小一部分。作為智能決策的支持手段之一，大數(shù)據(jù)在企業(yè)、事業(yè)、政府、社會管理和發(fā)展上的應(yīng)用是更重要的挑戰(zhàn)。在這里，多源數(shù)據(jù)的融合就成為大數(shù)據(jù)分析中的瓶頸。

每個親身參加過大數(shù)據(jù)項目的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)庫管理員都會告訴你，項目的80%的時間和經(jīng)費(fèi)花在數(shù)據(jù)的準(zhǔn)備工作上。這其中多源數(shù)據(jù)的融合是最耗費(fèi)資源的任務(wù)之一。難怪最近紐約時報驚呼：“數(shù)據(jù)科學(xué)家把高達(dá) 80%的時間用于數(shù)據(jù)準(zhǔn)備而不是用來發(fā)現(xiàn)新的商業(yè)智能”。

傳統(tǒng)的統(tǒng)計分析經(jīng)常是對單一數(shù)據(jù)源(營銷數(shù)據(jù)、行政報表、問卷調(diào)查、人口普查等)進(jìn)行深入的追蹤和分析。分析人員對數(shù)據(jù)的來源和結(jié)構(gòu)有一定的控制和深層的了解。在大數(shù)據(jù)時代，數(shù)據(jù)源是多樣的、自然形成的、海量的數(shù)據(jù)常常是半結(jié)構(gòu)或無結(jié)構(gòu)的。這就要求數(shù)據(jù)科學(xué)家和分析師駕馭多樣、多源的數(shù)據(jù)，將它們梳理后進(jìn)行挖掘和分析。在這個過程中，數(shù)據(jù)融合(data blending)就成為不可或缺的一步。

數(shù)據(jù)融合與數(shù)據(jù)倉庫(Data Warehouse)、數(shù)據(jù)一體化(Data Integration)不同。它的目的不是將一個企業(yè)(Enterprise)或組織的所有數(shù)據(jù)集中在一起并標(biāo)準(zhǔn)化而產(chǎn)生唯一的真相(Single Truth)。它是以產(chǎn)生決策智能為目標(biāo)將多種數(shù)據(jù)源中的相關(guān)數(shù)據(jù)提取、融合、梳理整合成一個分析數(shù)據(jù)集(Analytic Dataset)。這個分析數(shù)據(jù)集是個獨(dú)立的和靈活的實(shí)體，可隨數(shù)據(jù)源的變化重組、調(diào)整和更新。數(shù)據(jù)融合勝于數(shù)據(jù)倉庫和數(shù)據(jù)一體化的另一點(diǎn)是它能包容多源數(shù)據(jù)。

數(shù)據(jù)融合有六個基本步驟：

(1)連接所需多源數(shù)據(jù)庫并獲取相關(guān)數(shù)據(jù)

(2)研究和理解所獲得的數(shù)據(jù)

(3)梳理和清理數(shù)據(jù)

(4)數(shù)據(jù)轉(zhuǎn)換和建立結(jié)構(gòu)

(5)數(shù)據(jù)組合

(6)建立分析數(shù)據(jù)集

這個過程的每一步都需要數(shù)據(jù)工作者認(rèn)真細(xì)致的思考、辨認(rèn)、測試、清理、最后產(chǎn)生可信賴、有意義的分析數(shù)據(jù)庫。在過去，這個數(shù)據(jù)準(zhǔn)備過程很大程度上是通過手動，十分費(fèi)時和艱辛。即使有數(shù)據(jù)處理的軟件(如Excel, SAS, SPSS等)，每個數(shù)據(jù)工作者也都是自己使用所熟悉的工具，形成個性化的，充其量是半自動的數(shù)據(jù)準(zhǔn)備程序。最近幾年，大數(shù)據(jù)技術(shù)公司將數(shù)據(jù)處理整合過程中相關(guān)技術(shù)集合，組合，提升后開發(fā)出專門用于數(shù)據(jù)融合的新工具。應(yīng)用這些直觀、可視、高效的軟件工具，數(shù)據(jù)準(zhǔn)備的過程的工效大大提高，在一定程度上解決了數(shù)據(jù)融合的技術(shù)瓶頸。

數(shù)據(jù)融合的另一瓶頸是思維。打個比方，數(shù)據(jù)融合就像水泥的現(xiàn)場合成。水泥制作可以從人工攪拌變?yōu)闄C(jī)械合成，提高了工效。但水泥配置仍需要正確的配方;沙、石、混凝土的比例，以及相關(guān)化學(xué)成份的添加對達(dá)到水泥的質(zhì)量標(biāo)準(zhǔn)至關(guān)重要。數(shù)據(jù)處理新工具使數(shù)據(jù)科學(xué)家從數(shù)據(jù)準(zhǔn)備的繁瑣工作中解放了出來，但如何根據(jù)每個數(shù)據(jù)分析項目量體定制，融合多源數(shù)據(jù)以形成有效的分析數(shù)據(jù)集仍是數(shù)據(jù)科學(xué)家必須面對的一個更具挑戰(zhàn)性的瓶頸。

多源的數(shù)據(jù)可以歸納為三大類：

(1)一手?jǐn)?shù)據(jù)(Primary Data)，包括企業(yè)或組織直接采集掌控的內(nèi)部運(yùn)行數(shù)據(jù)和營銷數(shù)據(jù)

(2)二級數(shù)據(jù)(Secondary Data)，第三者采集、整理、和提供的二手?jǐn)?shù)據(jù)，如經(jīng)濟(jì)指標(biāo)、人口普查、民意調(diào)查、網(wǎng)路數(shù)據(jù)等

(3)科學(xué)數(shù)據(jù)(Scientific Data)，包括科學(xué)研究的成果、指數(shù)、算法、模型等

這三類數(shù)據(jù)為數(shù)據(jù)為驅(qū)動的智能決策提供了不同的觀察角度。一手?jǐn)?shù)據(jù)具體、靈活、快速積累能夠?qū)崟r或接近實(shí)時地為決策者提供監(jiān)測、追蹤、描述信息。二級數(shù)據(jù)一般是定期公布的數(shù)據(jù)，它能提供國家、地區(qū)、行業(yè)的狀況信息，成為數(shù)據(jù)分析中的可比性坐標(biāo)。科學(xué)數(shù)據(jù)的更新是不定時的，但它代表著目前科研成果，對數(shù)據(jù)分析的建模和算法提供科學(xué)基礎(chǔ)。在大數(shù)據(jù)分析項目中，數(shù)據(jù)科學(xué)家需要針對具體研究課題同時收集、整理、融合相關(guān)的三類數(shù)據(jù)。數(shù)據(jù)科學(xué)家的水平就體現(xiàn)在將三類數(shù)據(jù)合理、有效、有意義的融合上。

數(shù)據(jù)融合是目前大數(shù)據(jù)應(yīng)用和智能決策過程中一個瓶頸。這個挑戰(zhàn)引發(fā)了新一輪大數(shù)據(jù)工具的快速發(fā)展。根據(jù)2016年高德納公司數(shù)據(jù)管理和分析軟件工具的評估報告，自我服務(wù)式數(shù)據(jù)準(zhǔn)備軟件(Self-service Data Preparation)已成為發(fā)展最快的工具之一。這一發(fā)展趨勢應(yīng)引起我們的關(guān)注。同時，數(shù)據(jù)融合的思維瓶頸仍是所有數(shù)據(jù)科學(xué)家必須面對的更高層次的挑戰(zhàn)。

來源：財新網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。