深度干貨丨DAAS調(diào)研與簡要分析

大數(shù)據(jù) DaaS 數(shù)據(jù)交易商業(yè)模式

張涵誠 | 2016-11-10 15:06

【數(shù)據(jù)猿導(dǎo)讀】在使用DaaS時，理論上來說所有煩人的“基礎(chǔ)細節(jié)”都不用再操心了（在組件和基礎(chǔ)設(shè)施上的大量投入），企業(yè)也就可以專心解決業(yè)務(wù)問題。DaaS提供商承擔合規(guī)和數(shù)據(jù)保護的成本，當數(shù)據(jù)存儲到他們的云服務(wù)器上后，一切工作將由他們負責

來源：數(shù)據(jù)猿作者：張涵誠、陸驥

背景

當前大家都知道:

1、數(shù)據(jù)交易市場的繁榮為時過早，數(shù)據(jù)加工和處理太過于分散化；

2、數(shù)據(jù)金字塔頂部的數(shù)據(jù)成為重要的資產(chǎn)，然后擁有者并不知道如何釋放；

3、互聯(lián)網(wǎng)數(shù)據(jù)聚合及釋放數(shù)據(jù)價值的經(jīng)驗值得所有企業(yè)參考。

筆者團隊經(jīng)歷對于DAAS的幾個階段，艱辛萬苦，若有所思，現(xiàn)在把研究成果分享出來，以求大家反饋，研究研究在改進

DAAS是什么

基本定義

Users can access vendor provided databases

用戶可直接獲取由BD公司提供的數(shù)據(jù)庫

Users can host their own databases on vendor managed systems.

用戶可在BD公司提供數(shù)據(jù)管理平臺上處理自己的數(shù)據(jù)庫

Users have the option to access data (their own and/or other parties) on a usage sensitive basis.

用戶可以按照自身意愿對多源數(shù)據(jù)進行應(yīng)用級別的分析處理

DAAS哪些公司在做

DAAS有哪些產(chǎn)品

Amazon EMR Core DaaS

1、Amazon Elastic MapReduce (Amazon EMR) 是一種 Web 服務(wù)，它簡化了大數(shù)據(jù)的處理，提供托管Hadoop框架，可以讓用戶輕松、快速、經(jīng)濟高效地在多個動態(tài)可擴展的 Amazon EC2 實例之間分發(fā)和處理大量數(shù)據(jù)。

2、用戶還可以運行其他常用的分發(fā)框架（例如 Amazon EMR 中的 Spark 和 Presto）與其他 AWS 數(shù)據(jù)存儲服務(wù)（例如 Amazon S3 和 Amazon DynamoDB）中的數(shù)據(jù)進行互動。

3、Amazon EMR 能夠安全可靠地處理大數(shù)據(jù)使用案例，包括日志分析、Web 索引、數(shù)據(jù)倉庫、機器學(xué)習(xí)、財務(wù)分析、科學(xué)模擬和生物信息。

Altiscale Performance DaaS

1、Altiscale通過將Hadoop的全部服務(wù)轉(zhuǎn)向云端，并提供Hadoop即服務(wù)以減少Hadoop的復(fù)雜性；

2、將Hadoop服務(wù)推向云端，意味著更廣闊的受眾，而客戶在遭遇不可避免的問題時，完全可以依賴Altiscale的服務(wù)。由于Altiscale完全專注于Hadoop，因此解決問題的過程可以從幾天縮短到幾個小時。

3、有的時候，Altiscale會在處理階段自己發(fā)現(xiàn)問題，有的時候則是客戶主動上報問題，因此客戶并沒有被迫要自己去追蹤問題，然后留給Altiscale來解決。

4、該產(chǎn)品被業(yè)界認為具有規(guī)模生產(chǎn)效應(yīng)。

Qubole Feature DaaS

1、Qubole致力于解決基礎(chǔ)設(shè)施沖突的問題，一旦互聯(lián)網(wǎng)的政策到位，任何數(shù)量的數(shù)據(jù)分析都可以在Hive，spark、Presto等數(shù)據(jù)處理引擎的協(xié)助下實現(xiàn)一鍵訪問，也可連接其他服務(wù)的API來導(dǎo)入數(shù)據(jù)。

2、Qubole簡化、加快和縮減了處理存儲在AWS、谷歌或者Azure云中的大數(shù)據(jù)分析的工作量，用戶無需了解Hadoop系統(tǒng)管理，大大簡化了大數(shù)據(jù)應(yīng)用的復(fù)雜性，而且成本更低。

3、Qubole是一個企業(yè)級別的解決方案，它的靈活性使得它脫穎而出，成為一款相當值得使用的軟件平臺。

DAAS有哪些案例

DaaS案例 - 云平臺

Amazon Elastic MapReduce 支持的功能包括：

1、查看過此內(nèi)容的人還查看過

2、要點回顧

3、鍵入搜索內(nèi)容時自動完成詞語

4、搜索拼寫建議

5、熱門搜索

6、廣告

Yelp 每天運行約 200 個 Amazon Elastic MapReduce 作業(yè)來處理 3 TB 的數(shù)據(jù)，并借助AWS來幫助他們進行 Hadoop 應(yīng)用程序開發(fā)，幫助Yelp節(jié)省 55 000 USD 用于前期購置硬件的資金，并且從設(shè)置到運行只需幾天，而不是數(shù)月。

Yelp 使用 Amazon S3 來存儲每天的日志和照片，每天可生成約 100 GB 的日志。該公司還使用 Amazon EMR 支持近20個單獨的批處理腳本，它們當中的大部分都用于處理日志，開發(fā)人員可以集中精力應(yīng)對其他挑戰(zhàn)。

1）DaaS案例-自建

Big data cloud service makes ad-hoc analysis easier in Hadoop.

2）DaaS案例-技術(shù)輸出到數(shù)據(jù)擁有者

IBM所提供的Twitter服務(wù)分析：IBM向企業(yè)提供訪問數(shù)據(jù)和分析的渠道，查看Twitter每日5億條推訊，還有2.8億月活躍用戶。此外，它還提供了一個叫做“firehose”的推訊分析工具與應(yīng)用，將這些混亂的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)橛幸饬x的信息；它還培訓(xùn)了4000名咨詢師，協(xié)助企業(yè)將計劃付諸行動以期獲益。

蘋果和IBM剛剛宣布，合作開設(shè)了一個大數(shù)據(jù)的健康平臺。蘋果手表的出現(xiàn)可能會使商用可穿戴設(shè)備成為主流，毫無疑問也會帶來新一波BDaaS的應(yīng)用爆發(fā)。預(yù)測將有數(shù)百萬使用者進行各種操作，包括監(jiān)控心率、安排社交日程、遙控家庭娛樂設(shè)備，從而造就大量的數(shù)據(jù)。然后蘋果再找出新辦法，將這些數(shù)據(jù)包裝起來重新賣給我們。

3）DaaS案例-自產(chǎn)自銷

農(nóng)業(yè)機械生產(chǎn)商John Deere，他為所有拖拉機配備了傳感器，這些傳感器會收集機械、土壤以及莊稼狀況的信息，并將這些流數(shù)據(jù)傳到MyJohnDeere.com與Farmsight服務(wù)上；從何時該訂購備件，到哪里種植莊稼一應(yīng)俱全，農(nóng)場主可以付費訂閱這些分析情報。

DAAS可能存在的商業(yè)模式

在使用DaaS時，理論上來說所有煩人的“基礎(chǔ)細節(jié)”都不用再操心了（在組件和基礎(chǔ)設(shè)施上的大量投入），企業(yè)也就可以專心解決業(yè)務(wù)問題。DaaS提供商承擔合規(guī)和數(shù)據(jù)保護的成本，當數(shù)據(jù)存儲到他們的云服務(wù)器上后，一切工作將由他們負責。租用他們基于云的存儲與分析引擎，然后按使用時間或者處理的數(shù)據(jù)量來付費。向客戶提供分析服務(wù)（分析報告或者人工服務(wù)費）。直接賣加工后的數(shù)據(jù)。

行業(yè)DaaS平臺：服務(wù)行業(yè)巨頭

需要釋放數(shù)據(jù)價值獲取更多數(shù)據(jù)：

1、行業(yè)數(shù)據(jù)的提供

2、行業(yè)數(shù)據(jù)分析的結(jié)果

3、對數(shù)據(jù)進行分析

4、數(shù)據(jù)驅(qū)動產(chǎn)業(yè)變革

數(shù)據(jù)門戶：服務(wù)小企業(yè)

需要DaaS新的云化有數(shù)據(jù)的環(huán)境

工具

數(shù)據(jù)

DAAS展望

通過利用BDAAS對所收集的大量個人數(shù)據(jù)進行分析，客戶能夠更加有效地發(fā)現(xiàn)和吸引潛在客戶。這類服務(wù)有數(shù)千家中小型企業(yè)級使用者，將目標對準了潛在消費者可能存在的相關(guān)利基市場。亞馬遜的AWS以及谷歌的AdSense和AdWords，Acxiom都可歸為這一類，屬于其中的佼佼者。隨著軟件即服務(wù)的流行，我們越來越習(xí)慣在虛擬環(huán)境中通過web界面來工作，將分析整合到這個過程中也就成了自然而然的下一步。我們已經(jīng)能看到：很多之前認為大數(shù)據(jù)遙不可及的企業(yè)，現(xiàn)在都看到了大數(shù)據(jù)項目的可行性。

如何做DAAS

數(shù)據(jù)源：專注在IT能力比較弱，但是數(shù)據(jù)價值較高的行業(yè)客戶上；

數(shù)據(jù)云化：強調(diào)數(shù)據(jù)管理的云化；

數(shù)據(jù)產(chǎn)品SaaS化：為可以接受SaaS服務(wù)的客戶提供數(shù)據(jù)產(chǎn)品

DaaS（數(shù)據(jù)管理服務(wù)）的技術(shù)整體架構(gòu)

（圖來源百分點科技）

管理的具體措施

（圖來源百分點科技）

數(shù)據(jù)的積累、挖掘、整理、利用，是現(xiàn)代企業(yè)所必需的基本素養(yǎng)，沒有它，你的企業(yè)將無力面對未來的競爭。數(shù)據(jù)在云端的管理開始變得更加重要，很多軟件企業(yè)開始思考數(shù)據(jù)在云端的交互，這樣對于數(shù)據(jù)流通有天然的氧吧。數(shù)據(jù)服務(wù)（DAAS）雖然今天看起來還很模糊，缺少法律支撐，缺少數(shù)據(jù)流通技術(shù)支持，缺少成功案例，缺少企業(yè)涉足，但我們堅信：

1、數(shù)據(jù)流通必然需要很多專業(yè)的公司提供服務(wù)；

2、數(shù)據(jù)的流通必然會節(jié)省整個社會的生產(chǎn)成本。

作者簡介：

張涵誠，百分點咨詢總監(jiān)，中關(guān)村大數(shù)據(jù)交易產(chǎn)業(yè)聯(lián)盟副秘書長，中國通信協(xié)會顧問專家，北大電子商務(wù)總裁班特聘講師、大數(shù)據(jù)課題組主任。

注：

張涵誠是數(shù)據(jù)猿特邀專欄專家，點擊查看張涵誠更多干貨文章。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。