【每周一本書】之《Druid實時大數(shù)據(jù)分析原理與實踐》：來自騰訊、小米等公司的一線實踐經(jīng)驗

Druid 大數(shù)據(jù) 數(shù)據(jù)分析

原創(chuàng) abby | 2017-06-06 08:00

【數(shù)據(jù)猿導(dǎo)讀】《Druid實時大數(shù)據(jù)分析原理與實踐》旨在幫助技術(shù)人員更好地深入理解Druid 技術(shù)、大數(shù)據(jù)分析技術(shù)選型、Druid 的安裝和使用、高級特性的使用，也包括一些源代碼的解析，以及一些常見問題的快速回答

【每周一本書】之《Druid實時大數(shù)據(jù)分析原理與實踐》：來自騰訊、小米等公司的一線實踐經(jīng)驗

來源：數(shù)據(jù)猿作者：abby

隨著社交通信、數(shù)字廣告、電子商務(wù)、網(wǎng)絡(luò)游戲等商業(yè)模式的發(fā)展，越來越多的互聯(lián)網(wǎng)企業(yè)誕生。他們都享受了大數(shù)據(jù)基礎(chǔ)技術(shù)的紅利，從初始就具備比較強(qiáng)大的數(shù)據(jù)收集、分析和處理能力，并且可以用在業(yè)務(wù)優(yōu)化上。

很顯然，因為行業(yè)的多樣性，業(yè)務(wù)場景變得越來越復(fù)雜，對數(shù)據(jù)處理的要求已經(jīng)不僅是體量大和速度快，還要數(shù)據(jù)結(jié)構(gòu)靈活、編程接口強(qiáng)大、系統(tǒng)可擴(kuò)展、原子化操作、高效備份、讀性能加速或者寫性能加速等。在這個技術(shù)普及的時代，不僅互聯(lián)網(wǎng)行業(yè)有越來越多的技術(shù)人員和數(shù)據(jù)人員開始參與到大數(shù)據(jù)工作中，而且很多傳統(tǒng)軟件從業(yè)者也慢慢受到吸引，雙方互相借鑒，進(jìn)一步擴(kuò)大了大數(shù)據(jù)技術(shù)的能力和影響。可以看到，傳統(tǒng)的數(shù)據(jù)庫、操作系統(tǒng)、編程語言等技術(shù)思想被引入來解決各種復(fù)雜的需求。因此而誕生的包括NoSQL、SQL on Hadoop、ElasticSearch這樣的新事物，逐漸把我們推進(jìn)到一個全新的時代。

而Druid 作為一款開源的實時大數(shù)據(jù)分析軟件，最近幾年快速風(fēng)靡全球互聯(lián)網(wǎng)公司，特別是對于海量數(shù)據(jù)和實時性要求高的場景，包括廣告數(shù)據(jù)分析、用戶行為分析、數(shù)據(jù)統(tǒng)計分析、運維監(jiān)控分析等，在騰訊、阿里、優(yōu)酷、小米等公司都有大量成功應(yīng)用的案例。

今天小編為大家推薦的《Druid實時大數(shù)據(jù)分析原理與實踐》就是旨在幫助技術(shù)人員更好地深入理解Druid 技術(shù)、大數(shù)據(jù)分析技術(shù)選型、Druid 的安裝和使用、高級特性的使用，也包括一些源代碼的解析，以及一些常見問題的快速回答。

Druid_大數(shù)據(jù)_數(shù)據(jù)分析-1

Druid是一個支持在大型數(shù)據(jù)集上進(jìn)行實時查詢而設(shè)計的開源數(shù)據(jù)分析和存儲系統(tǒng)，提供了低成本、高性能、高可靠性的解決方案，整個系統(tǒng)支持水平擴(kuò)展，管理方便。實際上，Druid的很多設(shè)計思想來源于Google的秘密分析武器PowerDrill，在功能上，和Apache開源的Drill也有幾分相似。Druid被設(shè)計成支持PB級別的數(shù)據(jù)量，現(xiàn)實中有數(shù)百TB級別的數(shù)據(jù)應(yīng)用實例，每天處理數(shù)十億流式事件。Druid之所以保持高效，有這樣幾個原因：一是數(shù)據(jù)進(jìn)行了有效的聚合或預(yù)計算；二是數(shù)據(jù)結(jié)構(gòu)的優(yōu)化，應(yīng)用了Bitmap的壓縮算法；三是可擴(kuò)展的高可用架構(gòu)，靈活支持部署的擴(kuò)展；四是社區(qū)的力量，Druid開發(fā)和用戶社區(qū)保持活躍，不斷推動Druid的完善和改進(jìn)。

Druid成功應(yīng)用于眾多互聯(lián)網(wǎng)和非互聯(lián)網(wǎng)公司中，特別是用戶行為分析、個性化推薦的數(shù)據(jù)分析、物聯(lián)網(wǎng)的實時數(shù)據(jù)分析、互聯(lián)網(wǎng)廣告交易分析等領(lǐng)域。國內(nèi)的主流廣告技術(shù)公司，都曾嘗試或開始采用Druid支持實時數(shù)據(jù)分析。傳統(tǒng)技術(shù)公司如Cisco, SK Telecom，也都在使用Druid進(jìn)行用戶行為分析等項目。Druid幫助這些業(yè)務(wù)場景實現(xiàn)了高效數(shù)據(jù)存儲和流式數(shù)據(jù)分析。

另外，Druid項目中也有不少中國元素，其創(chuàng)始人之一為中國工程師楊仿今，其他核心開發(fā)工程師也包括阿里的賓莉金、谷歌的郭秉坤等。楊仿今曾多次來到中國進(jìn)行Druid的技術(shù)交流。Druid項目初期，不少中國廣告技術(shù)公司參與了Druid的技術(shù)評估。目前該技術(shù)也廣泛應(yīng)用于中國互聯(lián)網(wǎng)公司中，例如騰訊、阿里、小米、優(yōu)酷土豆、藍(lán)海訊通等。

本書的目的就是介紹Druid，讓讀者能夠深入了解Druid的架構(gòu)設(shè)計、使用管理，也介紹了一些高級特性和核心源碼的導(dǎo)讀。

本書從內(nèi)容上共分為11個章節(jié)，分別是：

第1章:介紹Druid的初級概念；

第2章:對行業(yè)中不同的數(shù)據(jù)分析軟件進(jìn)行介紹和對比，包括一些時序數(shù)據(jù)庫；

第3章:Druid的設(shè)計理念和架構(gòu)介紹；

第4章:Druid的安裝和配置；

第5章:Druid的數(shù)據(jù)攝入；

第6章:查詢詳解；

第7章:介紹Druid的一些高級特性，包括正在積極完善的一些功能；

第8章:核心代碼的導(dǎo)讀和分析；

第9章:集群管理中的安全和監(jiān)控；

第10章:介紹幾個公司的Druid最佳實踐；

第11章:Druid的生態(tài)介紹和展望。

附錄A:簡要回答了一些常見的問題；

附錄B:列出了各個服務(wù)模塊的參數(shù)含義和建議值，方便系統(tǒng)管理。

適讀人群

適合大數(shù)據(jù)分析的從業(yè)人員、IT 人員、互聯(lián)網(wǎng)從業(yè)者閱讀。

作者介紹

歐陽辰，小米商業(yè)產(chǎn)品部研發(fā)總監(jiān)，負(fù)責(zé)廣告架構(gòu)和數(shù)據(jù)分析平臺，擅長數(shù)據(jù)挖掘，大數(shù)據(jù)分析和廣告搜索架構(gòu)。之

劉麒赟，現(xiàn)任Testin云測公司技術(shù)總監(jiān)，全面負(fù)責(zé)領(lǐng)導(dǎo)團(tuán)隊完成數(shù)據(jù)分析產(chǎn)品的研發(fā)。作為資深數(shù)據(jù)技術(shù)專家，曾為多個著名開源項目（Hadoop／Sqoop／Oozie／Druid）貢獻(xiàn)源代碼，在互聯(lián)網(wǎng)大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)應(yīng)用等方面擁有豐富的實戰(zhàn)經(jīng)驗和相關(guān)專利。

張海雷，資深工程師。目前在優(yōu)酷土豆廣告技術(shù)團(tuán)隊負(fù)責(zé)Druid集群的維護(hù)。活躍在Druid中國用戶組，Druid、Redis和Storm的開源項目代碼貢獻(xiàn)者。

高振源，熱愛技術(shù)，愛智求真的后臺開發(fā)和數(shù)據(jù)工程師。先后負(fù)責(zé)過廣告DSP產(chǎn)品、QQ公眾號精準(zhǔn)投放平臺、數(shù)據(jù)分析產(chǎn)品等研發(fā)工作。目前在騰訊SNG企業(yè)產(chǎn)品部，負(fù)責(zé)企點產(chǎn)品的數(shù)據(jù)平臺工作。

許哲，騰訊后臺開發(fā)高級工程師，先后參與了公司企業(yè)產(chǎn)品消息服務(wù)后臺、QQ公眾號后臺、QQ公眾號精準(zhǔn)投放平臺等研發(fā)，目前在騰訊SNG企業(yè)產(chǎn)品部，負(fù)責(zé)騰訊企點的后臺和數(shù)據(jù)平臺開發(fā)工作。

【每周一本書】之《數(shù)據(jù)科學(xué)家養(yǎng)成手冊》：用科學(xué)的眼光看待數(shù)據(jù)

【每周一本書】之《大數(shù)據(jù)時代的算法：機(jī)器學(xué)習(xí)、人工智能及其典型實例》

【每周一本書】之《圖說D3：數(shù)據(jù)可視化利器從入門到進(jìn)階》

【每周一本書】之《Hadoop金融大數(shù)據(jù)分析》：利用大數(shù)據(jù)為金融機(jī)構(gòu)提供超強(qiáng)洞察力、分析與BI思想！

【每周一本書】之《Python大戰(zhàn)機(jī)器學(xué)習(xí)：數(shù)據(jù)科學(xué)家的第一個小目標(biāo)》

【每周一本書】之《圖解Spark：核心技術(shù)與案例實戰(zhàn)》

【每周一本書】之《大數(shù)據(jù)技術(shù)概論》：菜鳥學(xué)大數(shù)據(jù)，如果這些還不會，勸你一定要補(bǔ)上！

【每周一本書】之《數(shù)據(jù)新聞實戰(zhàn)》：趁早學(xué)！這些工具，新聞人將越來越離不開

點擊查看更多大數(shù)據(jù)書籍……

本書由 數(shù)據(jù)猿聯(lián)合電子工業(yè)出版社 共同推薦

【本欄目合作伙伴】：清華大學(xué)出版社、電子工業(yè)出版社、北京師范大學(xué)出版社、中國人民大學(xué)出版社。

歡迎更多合作伙伴加入！也歡迎勾搭小編，微信：wmh4178，備注“書”