《Hadoop與大數(shù)據(jù)挖掘》2.1.4Hadoop資源管理—YARN

Hadoop 大數(shù)據(jù)挖掘資源管理

華章計(jì)算機(jī) | 2017-07-14 11:35

【數(shù)據(jù)猿導(dǎo)讀】 ResourceManager是一個(gè)全局的資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。它主要由兩個(gè)組件構(gòu)成：調(diào)度器(Scheduler)和應(yīng)用程序管理器(ApplicationManager，AM)。

本節(jié)書(shū)摘來(lái)華章計(jì)算機(jī)《hadoop與大數(shù)據(jù)挖掘》一書(shū)中的第2章，第2.1.4節(jié)，張良均樊哲位文超劉名軍許國(guó)杰周龍焦正升著更多章節(jié)內(nèi)容可以訪問(wèn)云棲社區(qū)“華章計(jì)算機(jī)”公眾號(hào)查看。

2.1.4 Hadoop資源管理—YARN

在上一節(jié)中我們看到，當(dāng)MapReduce發(fā)展到2.x時(shí)就不使用JobTracker來(lái)作為自己的資源管理框架，而選擇使用YARN。這里需要說(shuō)明的是，如果使用JobTracker來(lái)作為Hadoop集群的資源管理框架的話，那么除了MapReduce任務(wù)以外，不能夠運(yùn)行其他任務(wù)。也就是說(shuō)，如果我們集群的MapReduce任務(wù)并沒(méi)有那么飽滿的話，集群資源等于是白白浪費(fèi)的。所以提出了另外的一個(gè)資源管理架構(gòu)YARN(Yet Another Resource Manager)。這里需要注意，YARN不是JobTracker的簡(jiǎn)單升級(jí)，而是“大換血”。同時(shí)Hadoop 2.X也包含了此架構(gòu)。Apache Hadoop 2.X項(xiàng)目包含以下模塊。

Hadoop Common：為Hadoop其他模塊提供支持的基礎(chǔ)模塊。

HDFS: Hadoop：分布式文件系統(tǒng)。

YARN：任務(wù)分配和集群資源管理框架。

MapReduce：并行和可擴(kuò)展的用于處理大數(shù)據(jù)的模式。

Hadoop_大數(shù)據(jù)挖掘_資源管理-1

如圖2-10所示，YARN資源管理框架包括ResourceManager(資源管理器)、Applica-tionMaster、NodeManager(節(jié)點(diǎn)管理器)。各個(gè)組件描述如下。

(1)ResourceManager

ResourceManager是一個(gè)全局的資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。它主要由兩個(gè)組件構(gòu)成：調(diào)度器(Scheduler)和應(yīng)用程序管理器(ApplicationManager，AM)。

Scheduler負(fù)責(zé)分配最少但滿足Application運(yùn)行所需的資源量給Application。Scheduler只是基于資源的使用情況進(jìn)行調(diào)度，并不負(fù)責(zé)監(jiān)視/跟蹤Application的狀態(tài)，當(dāng)然也不會(huì)處理失敗的Task。

ApplicationManager負(fù)責(zé)處理客戶端提交的Job以及協(xié)商第一個(gè)Container以供App-licationMaster運(yùn)行，并且在ApplicationMaster失敗的時(shí)候會(huì)重新啟動(dòng)ApplicationMaster(YARN中使用Resource Container概念來(lái)管理集群的資源，Resource Container是資源的抽象，每個(gè)Container包括一定的內(nèi)存、IO、網(wǎng)絡(luò)等資源)。

(2)ApplicationMaster

ApplicatonMaster是一個(gè)框架特殊的庫(kù)，每個(gè)Application有一個(gè)ApplicationMaster，主要管理和監(jiān)控部署在YARN集群上的各種應(yīng)用。

(3)NodeManager

主要負(fù)責(zé)啟動(dòng)Resourcemanager分配給ApplicationMaster的Container，并且會(huì)監(jiān)視Container的運(yùn)行情況。在啟動(dòng)Container的時(shí)候，NodeManager會(huì)設(shè)置一些必要的環(huán)境變量以及相關(guān)文件;當(dāng)所有準(zhǔn)備工作做好后，才會(huì)啟動(dòng)該Container。啟動(dòng)后，NodeManager會(huì)周期性地監(jiān)視該Container運(yùn)行占用的資源情況，若是超過(guò)了該Container所聲明的資源量，則會(huì)kill掉該Container所代表的進(jìn)程。

來(lái)源：華章計(jì)算機(jī)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。