易觀CTO郭煒：混合云是大數(shù)據(jù)分析服務(wù)的“基石”

易觀郭煒混合云大數(shù)據(jù) 數(shù)據(jù)分析

郭煒 | 2016-04-13 11:05

【數(shù)據(jù)猿導(dǎo)讀】易觀CTO郭煒在參加“2016第八屆云計算中國峰會”上分享了在使用云服務(wù)時的一些體會。在郭煒看來，大數(shù)據(jù)分析服務(wù)可分為四個層面，基礎(chǔ)服務(wù)、數(shù)據(jù)服務(wù)、分析服務(wù)、業(yè)務(wù)服務(wù)，而混合云是大數(shù)據(jù)分析服務(wù)的“基石”

大數(shù)據(jù)和云計算結(jié)合已經(jīng)成為趨勢。易觀CTO郭煒在2016第八屆云計算中國峰會上分享了在使用云服務(wù)時的幾點體會。

業(yè)內(nèi)知名大數(shù)據(jù)專家、易觀CTO郭煒

大數(shù)據(jù)分析服務(wù)的四個層面

大數(shù)據(jù)分析服務(wù)其實分為四個層面：

一個是基礎(chǔ)服務(wù)，比如像saas這些基礎(chǔ)技術(shù)軟件硬件平臺搭建，它給我們上層應(yīng)用提供了基礎(chǔ);

二是數(shù)據(jù)服務(wù)，如PASS這些數(shù)據(jù)處理平臺;

三是分析服務(wù)，如AAS或MAS這些分析與模型服務(wù);

四是業(yè)務(wù)服務(wù)，主要是營銷類服務(wù)。

易觀處于第三層，是云服務(wù)和云化的支持者。前兩層是我們的供應(yīng)商，第四層是我們的合作伙伴，他們會基于我們的分析服務(wù)最終得到營銷服務(wù)。

大數(shù)據(jù)分析服務(wù)四個層面

堅持云化，但大數(shù)據(jù)使用公有云尚美中不足

我們既要保證有數(shù)據(jù)出來，同時要保證集群擴(kuò)展性好，所以剛開始我們選擇用三家不同的公有云，通過一些MQ組件去接受數(shù)據(jù)，通過Hadoop去處理數(shù)據(jù)。

公有云優(yōu)勢在于可以快速部署，快速實現(xiàn)。很短的時間就可以把集群搭起來，沒有采購的成本，不需要做很多攻擊防護(hù)的事情，硬件本身也是免維護(hù)的。但當(dāng)數(shù)據(jù)量非常大時，它的缺陷就暴露了，根據(jù)我們的使用經(jīng)驗，也有一些無法回避的缺陷：

(1)數(shù)據(jù)量大，執(zhí)行效率低

不管使用哪家公有云，我們都遇到了這樣的瓶頸，特別是月活超過1億后更加明顯。一個是執(zhí)行效率低，一個是數(shù)據(jù)量非常大，每次這個時候查詢再加優(yōu)化，要30分鐘左右，這個時間我是不能忍受的。

(2)公有云單位成本高

公有云單價成本高，好機(jī)器年度投入超過三萬塊。

(3)IO瓶頸明顯

因為我們這種是高密度，高CPU型IO的計算。無論換哪一家公有云，IO瓶頸還是很明顯的，和線下集群對比是幾倍的關(guān)系。

(4)不確定性強(qiáng)

因為公有云是大家共享一個計算池子，所以使用的時候會出現(xiàn)CPU搶占的情況。因為我是高密集計算，這樣搶占對CPU切分不是很好，有的跑十來分鐘有的跑一個小時，這樣對我們大數(shù)據(jù)應(yīng)用來講存在不可確定性。

(5)防護(hù)策略少

因為我們是在做大數(shù)據(jù)Hadoop的東西，它的網(wǎng)絡(luò)的千兆的交換，再加上虛擬機(jī)，像網(wǎng)口方面會形成瓶頸。因為我們數(shù)據(jù)是源源不斷到云端的，它的防護(hù)策略也比較少，我們這么大量的數(shù)據(jù)實時傳到云端，很多時候公有云會把它當(dāng)做攻擊，把這些給清掉。

不過，即使公有云有這么多缺陷，但它幫助我們快速地進(jìn)入數(shù)據(jù)分析領(lǐng)域，迅速滿足了我們需求，所以我們還會堅持云化的策略。

解決方案——兼顧性能與靈活性的混合云

數(shù)據(jù)越來越多，怎么讓集群更有效呢?我們想到了混合云的策略。

(1)混合云讓集群更有效

最簡單來講，易觀所有數(shù)據(jù)分析服務(wù)是在公有云上面在給大家提供的，底下所有的集群則從云端遷到了線下。如果一個公司想在基礎(chǔ)的云服務(wù)之上再加一些軟件提供，我覺得單一的軟件是不能滿足企業(yè)需要的。一個集群一定是多空間、多組件混合在一起，才能滿足業(yè)務(wù)需求。

(2)公有云、私有云難打通問題

如何把原來公有云的數(shù)據(jù)和私有云，包括底層使用打通這件事也頗費腦筋。當(dāng)時用到了云的計算，像加密各種方法，最后用了一個光纖，先到公有云的機(jī)房，然后把集群跟光纖做互通，達(dá)到目前混合云的效果。

混合云的優(yōu)點在于大數(shù)據(jù)平臺性能非常穩(wěn)定，云端也比較能夠靈活的做些配置，云端和線下集群可以相互轉(zhuǎn)換。但麻煩的是，公有云和私有云打通并不是那么容易。

第一，它的結(jié)構(gòu)非常復(fù)雜，如果出現(xiàn)一些問題需要排查，會對我們?nèi)藛T造成比較大的負(fù)擔(dān)。

第二，它的管理成本比較高，因為線上線下同時監(jiān)控。

這對技術(shù)管理提出了更高的要求，目前易觀基于開源工具，優(yōu)化一套DevOps工具，在使用混合云便利的同時，優(yōu)化整個維護(hù)流程，從而降低管理復(fù)雜度。

作者簡介：

郭煒：現(xiàn)任大數(shù)據(jù)分析公司易觀CTO，負(fù)責(zé)公司的技術(shù)架構(gòu)以及開發(fā)者生態(tài)產(chǎn)品研發(fā)、生態(tài)市場運營工作。加入易觀前，曾任聯(lián)想大數(shù)據(jù)總監(jiān)、萬達(dá)電商數(shù)據(jù)部總經(jīng)理

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。