童小軍：Hadoop原理、適用場(chǎng)景及核心思想

Hadoop 場(chǎng)景核心思想

CSDN | 2017-08-02 10:37

【數(shù)據(jù)猿導(dǎo)讀】童小軍集合了EasyHadop社區(qū)與RedHadoop（初創(chuàng)公司）的實(shí)踐，描述了Hadoop、大數(shù)據(jù)、云計(jì)算之間的緊密聯(lián)系。

童小軍，EasyHadop 社區(qū)創(chuàng)始人、原暴風(fēng)影音平臺(tái)研發(fā)經(jīng)理;國(guó)內(nèi)首位獲得美國(guó)Cloudera公司Apachehadoop開發(fā)工程師(CCDH)認(rèn)證考試);中科院、工信部外聘Hadoop專家講師;RedHadoop 紅象云騰創(chuàng)始人&首席架構(gòu)師;多次在中國(guó)CIO年會(huì)、阿里云大會(huì)、北大CIO論壇發(fā)表大數(shù)據(jù)演講，更是Data Wis 大數(shù)據(jù)Hadoop專家。在本次的大數(shù)據(jù)沙龍上，第一個(gè)發(fā)表了演講。

Hadoop使用原理

Hadoop市場(chǎng)正在快速的發(fā)展，甚至在銀行、電信各方面已經(jīng)開始嘗試。而童小軍則主要從以下3個(gè)方面對(duì)Hadoop進(jìn)行了剖析：

Hadoop原理、工作原理和工作機(jī)制

已證實(shí)及有待測(cè)試和探索的場(chǎng)景

實(shí)際用例

童小軍集合了EasyHadop社區(qū)與RedHadoop(初創(chuàng)公司)的實(shí)踐，描述了Hadoop、大數(shù)據(jù)、云計(jì)算之間的緊密聯(lián)系：

1. 誕生的新數(shù)據(jù)服務(wù)：類似百度、騰訊、阿里云等大公司，通過Hadoop這樣平臺(tái)構(gòu)建更大的數(shù)據(jù)平臺(tái)，收集數(shù)據(jù)進(jìn)行分析，并通過其它方式推送出去，也就是數(shù)據(jù)服務(wù)的理念。

2. 云計(jì)算帶來競(jìng)爭(zhēng)力：本質(zhì)上其實(shí)是一種數(shù)據(jù)的開放。對(duì)比傳統(tǒng)數(shù)據(jù)庫，可以更好的進(jìn)行個(gè)體分析，而Hadoop也正是做到了這一點(diǎn)。

Hadoop與舊平臺(tái)的對(duì)比

大數(shù)據(jù)技術(shù)理念核心主要分為兩個(gè)部分：虛擬化技術(shù)和類似Hadoop的技術(shù)。同樣也是兩個(gè)對(duì)立面，虛擬化更注重于將資源打造成一個(gè)大型機(jī)，而Hadoop恰恰相反，將各種資源池化。非Hadoop平臺(tái)系統(tǒng)，均屬核心的業(yè)務(wù)系統(tǒng)，比如代表性IOE，下面將分說兩種系統(tǒng)的優(yōu)劣：

大型機(jī)：穩(wěn)定性、源質(zhì)性高，IO能力極強(qiáng)，可以管理較多的磁盤及數(shù)據(jù)資源，CPU數(shù)量也占優(yōu)勢(shì)。當(dāng)然這里面，限制在于機(jī)器間傳輸，存儲(chǔ)和內(nèi)核需要共同帶寬。機(jī)器間的相互傳輸導(dǎo)致大量磁盤IO，從而造成磁盤瓶頸，同樣帶寬也很成問題。同時(shí)多CPU利用差的問題也暴露無遺，總體來說IO成為整個(gè)系統(tǒng)的瓶頸所在。

Hadoop：化整為零，文件被切開到不同層面，將計(jì)算移動(dòng)到所在數(shù)據(jù)的節(jié)點(diǎn)上，通過節(jié)點(diǎn)實(shí)現(xiàn)并行化IO，因此需要掛很多層。而Map Reduce任務(wù)的數(shù)量跟CPU核數(shù)捆綁，因此CPU核數(shù)越多，Map配置就越快。通過移動(dòng)計(jì)算取代移動(dòng)數(shù)據(jù)，以獲得更高的IO，這正是大數(shù)據(jù)存在的意義。

在本節(jié)中，童小軍以求和等例子入手，更詳細(xì)剖析了MapReduce的運(yùn)行機(jī)制，同時(shí)還講解了HBase的作用和功能。

Hadoop適用場(chǎng)景

童小軍認(rèn)為當(dāng)下Hadoop的主要應(yīng)用場(chǎng)景在歸檔、搜索引擎(老本家)及數(shù)據(jù)倉庫上面，各個(gè)機(jī)構(gòu)使用Hadoop不同的組件來實(shí)現(xiàn)自己的用例。而在這3個(gè)場(chǎng)景之外還有一個(gè)比較冷門的場(chǎng)景——流處理，這塊源于Hadoop 2.0可結(jié)合其他框架的特性，而在將來，Hadoop肯定會(huì)發(fā)展到聯(lián)機(jī)數(shù)據(jù)處理。

Hadoop核心思想

Hadoop平臺(tái)是能夠推動(dòng)企業(yè)內(nèi)部的數(shù)據(jù)開放，能夠讓每個(gè)人參與到報(bào)表、數(shù)據(jù)的研發(fā)過程。能夠?qū)崿F(xiàn)企業(yè)的數(shù)據(jù)共享，特別是Hadoop隊(duì)列，資源池，隊(duì)列，任務(wù)調(diào)度器的機(jī)制，能讓整個(gè)機(jī)型切換成多個(gè)資源，而不是以前的數(shù)據(jù)庫，一層層的隔離去使用。最后，童小軍還從實(shí)際出發(fā)，對(duì)多個(gè)實(shí)踐進(jìn)行了講解。

來源：CSDN

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。