實(shí)時(shí)計(jì)算如何實(shí)現(xiàn)秒級(jí)響應(yīng)？易觀CTO郭煒揭開謎底！

大數(shù)據(jù) 實(shí)時(shí)計(jì)算數(shù)據(jù)獲取郭煒

郭煒 | 2017-02-08 10:50

【數(shù)據(jù)猿導(dǎo)讀】實(shí)時(shí)計(jì)算框架首先需要解決數(shù)據(jù)的實(shí)時(shí)接收的問題，在網(wǎng)絡(luò)帶寬、接收性能、安全防控等情況下，如何實(shí)現(xiàn)海量并發(fā)數(shù)據(jù)平穩(wěn)接收具有較大挑戰(zhàn)

實(shí)時(shí)計(jì)算如何實(shí)現(xiàn)秒級(jí)響應(yīng)？易觀CTO郭煒揭開謎底！

來源：數(shù)據(jù)猿作者：郭煒

大數(shù)據(jù)在近幾年成為一個(gè)火爆的名詞，而企業(yè)針對(duì)數(shù)據(jù)的分析從未停止過。從過去的決策支持，到現(xiàn)在普及的精準(zhǔn)推薦乃至未來基于實(shí)時(shí)分析的AI交互，大數(shù)據(jù)以及相關(guān)技術(shù)一直是這些業(yè)務(wù)發(fā)展的基石。

易觀的實(shí)時(shí)計(jì)算框架是“秒算”，它支持易觀百億級(jí)別數(shù)據(jù)的獲取、存儲(chǔ)和計(jì)算。實(shí)時(shí)計(jì)算核心包括數(shù)據(jù)的實(shí)時(shí)獲取和數(shù)據(jù)的實(shí)時(shí)計(jì)算兩部分，對(duì)于高性能并發(fā)的要求是秒級(jí)響應(yīng)。易觀的“秒算”是結(jié)合開源計(jì)算平臺(tái)、自主研發(fā)SDK和接收系統(tǒng)研制的實(shí)時(shí)計(jì)算框架，目前支持Android、IOS、Web、H5和微信小程序的實(shí)時(shí)計(jì)算，支持每日百億級(jí)別數(shù)據(jù)并發(fā)。

實(shí)時(shí)計(jì)算框架首先需要解決數(shù)據(jù)的實(shí)時(shí)接收的問題，在網(wǎng)絡(luò)帶寬、接收性能、安全防控等情況下，如何實(shí)現(xiàn)海量并發(fā)數(shù)據(jù)平穩(wěn)接收具有較大挑戰(zhàn)。易觀采用混合云架構(gòu)實(shí)現(xiàn)百億級(jí)超長數(shù)據(jù)包的接收，接收端使用公有云彈性擴(kuò)展，在公有云的基礎(chǔ)上利用Edge-computing技術(shù)實(shí)現(xiàn)云+端的混合計(jì)算和策略控制。

云端的主要策略有時(shí)間間隔、失敗、清洗、分流等策略，對(duì)應(yīng)的設(shè)備端也有預(yù)先計(jì)算、失敗、更新、?；畹炔呗耘浜?，處理端則利用私有云平臺(tái)獨(dú)占性能、技術(shù)迭代迅速、投入TCO可控等優(yōu)勢，這樣的混合云架構(gòu)抗住了每日150億條 2GB接收數(shù)據(jù)帶寬的生產(chǎn)環(huán)境檢驗(yàn)。

數(shù)據(jù)接收端與后臺(tái)實(shí)時(shí)計(jì)算相結(jié)合，實(shí)現(xiàn)了百億級(jí)別的數(shù)據(jù)采集和計(jì)算。易觀的實(shí)時(shí)計(jì)算整體架構(gòu)如下：

實(shí)時(shí)計(jì)算架構(gòu)圖

第一部分是數(shù)據(jù)源層，接入該部分從前端業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)；

第二部分是公有云的數(shù)據(jù)接收層，這部分主要是接收調(diào)度策略和分布式接收服務(wù)；

第三部分是數(shù)據(jù)層，這部分是整個(gè)過程的核心，最重要的是實(shí)時(shí)處理部分，數(shù)據(jù)從接入層接入，經(jīng)過實(shí)時(shí)處理后落入HBase集群，其中由基礎(chǔ)支撐平臺(tái)對(duì)整個(gè)處理部分提供支撐；

第四部分是服務(wù)層，這部分由各種面向場景的引擎組成；

第五部分是應(yīng)用層，目前支持的產(chǎn)品是易觀方舟。

易觀在實(shí)時(shí)計(jì)算方面有不少應(yīng)用場景，主要應(yīng)用場景有：

1. 易觀H5實(shí)時(shí)計(jì)算

易觀H5實(shí)時(shí)計(jì)算

H5實(shí)時(shí)計(jì)算主要是實(shí)時(shí)展示數(shù)據(jù)的采集和清洗次數(shù)，當(dāng)日新增用戶、活躍用戶、用戶打開次數(shù)、實(shí)時(shí)用戶行為等信息。

2.易觀方舟——實(shí)時(shí)計(jì)算流量數(shù)據(jù)

易觀方舟——實(shí)時(shí)計(jì)算流量

易觀方舟產(chǎn)品實(shí)時(shí)計(jì)算部分主要是實(shí)時(shí)展示當(dāng)前瀏覽用戶數(shù)、訪客數(shù)、新增訪客數(shù)、獨(dú)立IP數(shù)及訪客行為信息，可以顯示某個(gè)顧客的實(shí)時(shí)來訪記錄，同時(shí)跟蹤顯示訪客當(dāng)前正在訪問的頁面等信息。

3. 易觀方舟——事件漏斗分析

易觀方舟——事件漏斗分析

事件漏斗轉(zhuǎn)化能支持多種維度下總體和細(xì)分事件的實(shí)時(shí)分析。

4.易觀微信小程序?qū)崟r(shí)數(shù)據(jù)展示

易觀微信小程序?qū)崟r(shí)數(shù)據(jù)展示

易觀自主研發(fā)的小程序SDK，集用戶運(yùn)營分析、轉(zhuǎn)化分析、用戶畫像、應(yīng)用評(píng)價(jià)等數(shù)據(jù)分析功能于一身，通過實(shí)時(shí)分析技術(shù)將企業(yè)小程序的數(shù)據(jù)實(shí)時(shí)采集到云端，經(jīng)過大數(shù)據(jù)加工計(jì)算實(shí)時(shí)展現(xiàn)小程序相關(guān)數(shù)據(jù)。

本次著重從整體上對(duì)易觀實(shí)時(shí)計(jì)算進(jìn)行介紹，后面會(huì)深入到實(shí)時(shí)計(jì)算的內(nèi)部，分享易觀在實(shí)時(shí)計(jì)算和實(shí)時(shí)分析技術(shù)上曾經(jīng)遇到的那些“坑”，敬請(qǐng)期待！

注：本文由郭煒投稿數(shù)據(jù)猿發(fā)布。

郭煒是數(shù)據(jù)猿特約專欄專家，點(diǎn)擊【郭煒】get更多干貨！

歡迎更多大數(shù)據(jù)企業(yè)、愛好者投稿數(shù)據(jù)猿，來稿請(qǐng)直接投遞至：tougao@datayuan.cn

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。