大數(shù)據(jù)應(yīng)用價(jià)值發(fā)現(xiàn)有哪些方法

大數(shù)據(jù) 應(yīng)用價(jià)值方法

36大數(shù)據(jù) | 2017-07-13 10:02

【數(shù)據(jù)猿導(dǎo)讀】大數(shù)據(jù)價(jià)值的發(fā)現(xiàn)與其所處的應(yīng)用場(chǎng)景密切相關(guān)。概括起來(lái)，大數(shù)據(jù)價(jià)值發(fā)現(xiàn)可以劃分為三大類(lèi)：數(shù)據(jù)服務(wù)、數(shù)據(jù)分析和數(shù)據(jù)探索。數(shù)據(jù)服務(wù)是面向大規(guī)模用戶(hù)，提供高性能的數(shù)據(jù)查詢(xún)、檢索、預(yù)測(cè)等服務(wù)

大數(shù)據(jù)應(yīng)用價(jià)值發(fā)現(xiàn)有哪些方法

大數(shù)據(jù)價(jià)值的發(fā)現(xiàn)與其所處的應(yīng)用場(chǎng)景密切相關(guān)。概括起來(lái)，大數(shù)據(jù)價(jià)值發(fā)現(xiàn)可以劃分為三大類(lèi)：數(shù)據(jù)服務(wù)、數(shù)據(jù)分析和數(shù)據(jù)探索。數(shù)據(jù)服務(wù)是面向大規(guī)模用戶(hù)，提供高性能的數(shù)據(jù)查詢(xún)、檢索、預(yù)測(cè)等服務(wù)，通過(guò)直接滿足用戶(hù)需求而將數(shù)據(jù)價(jià)值變現(xiàn)的形式;數(shù)據(jù)分析是分析人員利用經(jīng)驗(yàn)，通過(guò)對(duì)大規(guī)模數(shù)據(jù)使用特定的計(jì)算模型進(jìn)行較為復(fù)雜的運(yùn)算，從而發(fā)現(xiàn)易于人們理解的數(shù)據(jù)模式或規(guī)律所進(jìn)行的數(shù)據(jù)價(jià)值變現(xiàn)的一種運(yùn)算形式;數(shù)據(jù)探索是一種利用數(shù)據(jù)分析和人機(jī)交互的結(jié)合，通過(guò)不斷揭示數(shù)據(jù)的規(guī)律和數(shù)據(jù)間的關(guān)聯(lián)，引導(dǎo)分析人員發(fā)現(xiàn)并認(rèn)識(shí)其所未知的數(shù)據(jù)模式或規(guī)律，其價(jià)值更多地體現(xiàn)在對(duì)未知途徑的數(shù)據(jù)模式和規(guī)律的探索。

1. 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)針對(duì)用戶(hù)非常明確的數(shù)據(jù)查詢(xún)和處理任務(wù)，以高性能和高吞吐量的方式實(shí)現(xiàn)大眾化的服務(wù)，是數(shù)據(jù)價(jià)值最重要也是最直接的發(fā)現(xiàn)方式。由于要處理大眾化的服務(wù)請(qǐng)求，每個(gè)服務(wù)任務(wù)必須能夠被快速地處理掉，因此，數(shù)據(jù)服務(wù)的單個(gè)任務(wù)負(fù)載不能過(guò)于復(fù)雜，單任務(wù)直接處理的數(shù)據(jù)不能太大，任務(wù)對(duì)應(yīng)的用戶(hù)需求和采用的數(shù)據(jù)處理方法必須是明確的。一些典型的數(shù)據(jù)服務(wù)包括事務(wù)處理、數(shù)據(jù)查詢(xún)、信息檢索、數(shù)據(jù)預(yù)測(cè)。

事務(wù)處理是傳統(tǒng)數(shù)據(jù)庫(kù)范疇的價(jià)值發(fā)現(xiàn)形式，它針對(duì)的主要是任務(wù)關(guān)鍵型的數(shù)據(jù)服務(wù)，如銀行記賬、商業(yè)交易等; 數(shù)據(jù)查詢(xún)主要是面向快速查找或修改數(shù)據(jù)的服務(wù)需求，它比事務(wù)處理更簡(jiǎn)單，對(duì)數(shù)據(jù)一致性要求沒(méi)那么強(qiáng)，但對(duì)服務(wù)的吞吐量要求非常高;信息檢索是指從大規(guī)模的數(shù)據(jù)集中快速查找滿足用戶(hù)需求的資料或數(shù)據(jù)片段的過(guò)程;數(shù)據(jù)預(yù)測(cè)和數(shù)據(jù)分類(lèi)被很多人認(rèn)為是一種數(shù)據(jù)分析任務(wù)，其實(shí)，很多針對(duì)個(gè)體的數(shù)據(jù)預(yù)測(cè)和分類(lèi)任務(wù)實(shí)際上是一種數(shù)據(jù)服務(wù)，它使用數(shù)據(jù)分析得來(lái)的預(yù)測(cè)模型，對(duì)個(gè)體數(shù)據(jù)實(shí)例進(jìn)行預(yù)測(cè)，從而能夠高并發(fā)地為大規(guī)模用戶(hù)提供分類(lèi)和預(yù)測(cè)服務(wù)，進(jìn)而更好地體現(xiàn)出數(shù)據(jù)的價(jià)值。

2. 數(shù)據(jù)分析

數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)大量數(shù)據(jù)進(jìn)行分析或建模，提取有用信息并形成結(jié)論，進(jìn)而輔助人們決策的過(guò)程。在這個(gè)過(guò)程中，用戶(hù)會(huì)有一個(gè)明確的目標(biāo)，通過(guò)“數(shù)據(jù)清理、轉(zhuǎn)換、建模、統(tǒng)計(jì)”等一系列復(fù)雜的操作，獲得對(duì)數(shù)據(jù)的洞察，從而協(xié)助用戶(hù)進(jìn)行決策。常見(jiàn)的數(shù)據(jù)分析任務(wù)又可以被進(jìn)一步劃分為描述型分析、診斷型分析、預(yù)測(cè)型分析、策略型分析。

描述型分析的主要特點(diǎn)是對(duì)數(shù)據(jù)代表的含義進(jìn)行描述性的揭示，通過(guò)數(shù)據(jù)統(tǒng)計(jì)分析揭示數(shù)據(jù)隱含的現(xiàn)象，從而幫助人們更好地進(jìn)行決策。

診斷型分析主要用來(lái)揭示一些現(xiàn)象背后的成因，因此，它比描述型分析更深入。很多數(shù)據(jù)挖掘方法與診斷型分析密切相關(guān)。比如相關(guān)性分析和因果關(guān)系的分析等，都是想通過(guò)對(duì)數(shù)據(jù)的深度分析揭示描述型分析所發(fā)現(xiàn)的某些現(xiàn)象背后的成因。

預(yù)測(cè)型分析主要是使用機(jī)器學(xué)習(xí)技術(shù)，對(duì)現(xiàn)有的大數(shù)據(jù)進(jìn)行深度分析，構(gòu)建數(shù)據(jù)預(yù)測(cè)和分類(lèi)的模型，從而更好地支持?jǐn)?shù)據(jù)預(yù)測(cè)和分類(lèi)服務(wù)。

策略型分析也稱(chēng)指導(dǎo)型分析，是在分析過(guò)程中減少甚至排除人的參與，在給定目標(biāo)的驅(qū)動(dòng)下，直接幫助人們找到好的策略，作用于大數(shù)據(jù)應(yīng)用，使得未來(lái)數(shù)據(jù)指標(biāo)能夠按照設(shè)想的某些趨勢(shì)發(fā)展。它是數(shù)據(jù)分析的高級(jí)階段，更能發(fā)揮出大數(shù)據(jù)的價(jià)值。

總之，數(shù)據(jù)分析一般基于大量數(shù)據(jù)和較為復(fù)雜的運(yùn)算模型，其結(jié)果信息量通常很大，適用于宏觀決策。而對(duì)于細(xì)節(jié)層面信息的獲取，數(shù)據(jù)分析缺乏如索引和訪問(wèn)控制等方面的技術(shù)支持。如何在一個(gè)平臺(tái)上，既支持宏觀的分析，也支持細(xì)節(jié)的分析，是當(dāng)今一個(gè)挑戰(zhàn)的技術(shù)難題。

3. 數(shù)據(jù)探索

數(shù)據(jù)探索是指針對(duì)目標(biāo)可變、持續(xù)、多角度的搜索或分析任務(wù)，其搜索過(guò)程是有選擇、有策略和反復(fù)進(jìn)行的。它將以找到信息為目的的傳統(tǒng)信息檢索模式變?yōu)橐园l(fā)現(xiàn)、學(xué)習(xí)和決策為目的的信息搜尋模式。這樣的搜索模式結(jié)合了大量的數(shù)據(jù)分析與人機(jī)交互過(guò)程，適合于人們從數(shù)據(jù)中發(fā)現(xiàn)和學(xué)習(xí)更多的內(nèi)容和價(jià)值。

對(duì)于數(shù)據(jù)探索，用戶(hù)可以在微觀層面(數(shù)據(jù)搜索)和宏觀層面(數(shù)據(jù)分析)之間進(jìn)行自由切換，用交互式的方式探索并發(fā)現(xiàn)數(shù)據(jù)的價(jià)值。

目前，隨著大數(shù)據(jù)研究的興起，探索式搜索這種交互式分析和探索數(shù)據(jù)價(jià)值的方式，逐漸引起人們的重視，還有很多問(wèn)題等待研究者們進(jìn)行深入的研究。

數(shù)據(jù)服務(wù)強(qiáng)調(diào)從微觀層面獲取滿足用戶(hù)需求的精準(zhǔn)信息，數(shù)據(jù)分析強(qiáng)調(diào)從宏觀層面為用戶(hù)提供數(shù)據(jù)洞察，進(jìn)而提供決策支持，而數(shù)據(jù)探索則需要在宏觀和微觀兩個(gè)層面進(jìn)行自由切換。大數(shù)據(jù)蘊(yùn)含大價(jià)值，數(shù)據(jù)服務(wù)、數(shù)據(jù)分析和數(shù)據(jù)探索是3個(gè)層次的數(shù)據(jù)價(jià)值發(fā)現(xiàn)方法。在很多應(yīng)用下，這3類(lèi)方法需要混合使用，才能更好地發(fā)現(xiàn)大數(shù)據(jù)的價(jià)值。

來(lái)源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱(chēng)，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。