新型數(shù)據(jù)準(zhǔn)備工具來(lái)襲你還在使用傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)嗎?

大數(shù)據(jù) 傳統(tǒng)數(shù)據(jù) 倉(cāng)庫(kù)架構(gòu)

David Loshin | 2016-05-18 11:50

【數(shù)據(jù)猿導(dǎo)讀】越來(lái)越多的業(yè)務(wù)分析師正在提升自身編寫(xiě)臨時(shí)查詢(xún)和分析算法的能力。這些臨時(shí)查詢(xún)和分析算法用來(lái)尋找企業(yè)數(shù)據(jù)存儲(chǔ)中的有用信息，為企業(yè)做業(yè)務(wù)決策時(shí)提供更多數(shù)據(jù)。隨著企業(yè)員工越來(lái)越精通于使用分析工具，他們當(dāng)中越來(lái)越多的人發(fā)現(xiàn)，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)阻礙了他們分析某些重要數(shù)據(jù)的能力

新型數(shù)據(jù)準(zhǔn)備工具來(lái)襲你還在使用傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)嗎?

新興的自助型數(shù)據(jù)準(zhǔn)備工具可以幫助業(yè)務(wù)分析師、數(shù)據(jù)科學(xué)家和其他最終用戶(hù)繞過(guò)數(shù)據(jù)倉(cāng)庫(kù)，完成數(shù)據(jù)集成和制備過(guò)程的關(guān)鍵部分。而我們說(shuō)數(shù)據(jù)倉(cāng)庫(kù)對(duì)此造成了阻礙的主要原因有以下三點(diǎn)。

首先，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)通常是一個(gè)存儲(chǔ)庫(kù)，其數(shù)據(jù)來(lái)自?xún)?nèi)部事務(wù)處理，或者用于生成業(yè)務(wù)性能報(bào)告的運(yùn)營(yíng)系統(tǒng)。這限制了在數(shù)據(jù)上所進(jìn)行分析的范圍和類(lèi)型。

其次，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)用于提取的數(shù)據(jù)集合是高度集成和標(biāo)準(zhǔn)化的，它使用了一整套的業(yè)務(wù)規(guī)則，結(jié)合了一個(gè)預(yù)定義的易于維度分割的數(shù)據(jù)模型。這樣做可能會(huì)過(guò)濾掉與特定分析應(yīng)用程序相關(guān)的某些信息。

第三，IT團(tuán)隊(duì)通常負(fù)責(zé)開(kāi)發(fā)規(guī)則和流程，以確保數(shù)據(jù)以正確的方式存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，這種方法同樣可能無(wú)法滿(mǎn)足分析人士的最終分析需求。

顯然，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)的規(guī)范流程在過(guò)去很適合于企業(yè)，但數(shù)據(jù)的應(yīng)用場(chǎng)景正在迅速改變。企業(yè)越來(lái)越需要將他們的交易數(shù)據(jù)與來(lái)自各種其他信息來(lái)源的數(shù)據(jù)混合，這些數(shù)據(jù)源包括網(wǎng)站點(diǎn)擊，活動(dòng)日志，生產(chǎn)設(shè)備的傳感器和其他設(shè)備，客戶(hù)電子郵件、社交網(wǎng)絡(luò)和客戶(hù)流媒體數(shù)據(jù)、數(shù)據(jù)聚合器和第三方信息服務(wù)提供商等。

新的數(shù)據(jù)類(lèi)型需要新的數(shù)據(jù)平臺(tái)

利用這些外部數(shù)據(jù)源可以幫助提高商業(yè)洞察力，配以業(yè)務(wù)流程的變化，將使得企業(yè)真正轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)型。但在許多情況下，比起數(shù)據(jù)倉(cāng)庫(kù)，這些新增的數(shù)據(jù)更適合在一個(gè)大型的數(shù)據(jù)平臺(tái)上被存儲(chǔ)和處理——Hadoop集群，NoSQL數(shù)據(jù)庫(kù)，或Spark系統(tǒng)，或者從外部門(mén)戶(hù)網(wǎng)站獲取這些數(shù)據(jù)。

此外，業(yè)務(wù)分析師以及數(shù)據(jù)科學(xué)家經(jīng)常對(duì)可用數(shù)據(jù)進(jìn)行不同形式的訪問(wèn)，甚至包括數(shù)據(jù)的原始狀態(tài)。

例如，消費(fèi)產(chǎn)品制造商的營(yíng)銷(xiāo)團(tuán)隊(duì)可能需要分析客戶(hù)的檔案記錄，新聞源和社交媒體數(shù)據(jù)，以找出一種模式，幫助策劃一個(gè)在線營(yíng)銷(xiāo)活動(dòng)。同時(shí)，客戶(hù)體驗(yàn)團(tuán)隊(duì)可能需要監(jiān)控社交媒體，獲取各種網(wǎng)站上的產(chǎn)品評(píng)論，識(shí)別潛在的問(wèn)題，以便采取相應(yīng)的行動(dòng)來(lái)安撫顧客的不滿(mǎn)情緒。其他團(tuán)隊(duì)也可以有自己的用處。因?yàn)槊總€(gè)人都有不同的需求和目標(biāo)，數(shù)據(jù)倉(cāng)庫(kù)幾乎不可能讓所有的分析目標(biāo)都得到滿(mǎn)足。

讓分析師處理那些最能滿(mǎn)足他們獨(dú)特需要的數(shù)據(jù)，可以讓分析工作更加更富有成效。這對(duì)數(shù)據(jù)集成的各個(gè)方面都有影響，包括數(shù)據(jù)發(fā)現(xiàn)，數(shù)據(jù)攝取、分析、驗(yàn)證和質(zhì)量保證等。各大供應(yīng)商所提供的新型自助型數(shù)據(jù)準(zhǔn)備工具是個(gè)不錯(cuò)的選擇。

數(shù)據(jù)準(zhǔn)備階段的邏輯分離

此技術(shù)對(duì)分析用戶(hù)、IT和數(shù)據(jù)管理團(tuán)隊(duì)進(jìn)行了明確合理的分工。業(yè)務(wù)分析師和數(shù)據(jù)科學(xué)家可以使用數(shù)據(jù)準(zhǔn)備工具來(lái)找到不同系統(tǒng)中的相關(guān)數(shù)據(jù)，將這些數(shù)據(jù)放在一起，進(jìn)行配置和清洗以保持?jǐn)?shù)據(jù)的一致性，定義業(yè)務(wù)規(guī)則管理對(duì)數(shù)據(jù)的使用。在數(shù)據(jù)準(zhǔn)備軟件的幫助下，他們能得到相關(guān)數(shù)據(jù)的更全面的定制化視圖，這通常比他們從數(shù)據(jù)倉(cāng)庫(kù)獲取到的東西要強(qiáng)得多。

理想情況下，分析師對(duì)數(shù)據(jù)的使用更加充分。這意味著他們應(yīng)該保證自身理解高層數(shù)據(jù)使用策略，并貫徹實(shí)施。他們還需要與其他人合作以確保數(shù)據(jù)被合理的解釋?zhuān)⒈ＷC企業(yè)內(nèi)部數(shù)據(jù)的一致性。

因?yàn)閿?shù)據(jù)集被捕獲后，保持著原來(lái)的格式，IT部門(mén)不需要負(fù)責(zé)實(shí)現(xiàn)被分析數(shù)據(jù)的集成和轉(zhuǎn)換規(guī)則。相反，他們的責(zé)任轉(zhuǎn)換為管理整個(gè)基礎(chǔ)架構(gòu)，以支持?jǐn)?shù)據(jù)發(fā)現(xiàn)、整合和分析過(guò)程，并提供控制機(jī)制來(lái)監(jiān)控?cái)?shù)據(jù)定義的不一致現(xiàn)象以及使用業(yè)務(wù)數(shù)據(jù)時(shí)不遵守治理規(guī)則的行為。

大多數(shù)企業(yè)可能并不會(huì)拋棄數(shù)據(jù)倉(cāng)庫(kù)。自助型數(shù)據(jù)準(zhǔn)備軟件是一種相對(duì)較新的不斷成熟的技術(shù)，主要由一些新興供應(yīng)商提供。但這些數(shù)據(jù)準(zhǔn)備工具的蓬勃發(fā)展，為那些尋求獲取更多數(shù)據(jù)的企業(yè)指明了方向，那就是要增加分析的靈活性和有效性。

來(lái)源：searchbi

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱(chēng)，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。