4月28日，由工業(yè)和信息化部指導、中國信息通信研究院主辦的“2016大數(shù)據(jù)產(chǎn)業(yè)峰會”在北京國際會議中心召開。數(shù)人云CTO肖德時應邀出席并做《容器化大數(shù)據(jù)應用部署實踐》主題演講，向與會者分享了如何用容器化的方式解決大數(shù)據(jù)的快速部署問題。

以Hadoop、Spark為核心的大數(shù)據(jù)生態(tài)圈正在快速發(fā)展，層出不窮的大數(shù)據(jù)工具方便了企業(yè)處理海量數(shù)據(jù)，但也給大數(shù)據(jù)平臺的部署和維護帶來了挑戰(zhàn)。不同的大數(shù)據(jù)工具之間往往需要搭配使用，同時，隨著大數(shù)據(jù)平臺的集群規(guī)模越來越大，大數(shù)據(jù)工具組件越來越多，相互依賴越來越復雜，如何保證大數(shù)據(jù)平臺的穩(wěn)定性，保證高可用性?

肖德時指出，大數(shù)據(jù)部署最大的挑戰(zhàn)在于如何提升資源利用率，以及如何用一套標準的解決方案去部署和升級大數(shù)據(jù)工具。

具體來講，容器化大數(shù)據(jù)應用部署實現(xiàn)在統(tǒng)一平臺上進行資源的混合部署，簡化管理并消除重復數(shù)據(jù)，使資源的利用率從過去的30%提升到90%。此外。所有的大數(shù)據(jù)工具都是基于容器分發(fā)的，大大降低對底層技術的依賴。容器技術給大數(shù)據(jù)部署提供了更多的選擇，用戶可以選擇更多的解決方案，而不僅僅是局限于用Hadoop建立集群。

容器化應用部署實踐 – Hadoop Cluster

肖德時說道，“原來部署一個Hadoop，一定要到Apache的網(wǎng)站或者第三方網(wǎng)站下載一套Apache軟件，再把它解壓、安裝，非常的繁瑣。而通過采用容器技術部署大數(shù)據(jù)應用，只需到Docker倉庫就可以拿到Hadoop Cluster，它是一個用容器包起來的Hadoop安裝包，你要做的就是下載這個安裝包。”

肖德時指出，容器化大數(shù)據(jù)有三個顯著的好處：第一，可以快速安裝大數(shù)據(jù)組件;第二，開發(fā)、QA、生產(chǎn)環(huán)節(jié)使用同一套鏡像和流程;第三，一個節(jié)點到多個節(jié)點，步驟都是一樣的啟動服務。

作為基于Docker技術的輕量級PaaS平臺，數(shù)人云可以合理分配和調度容器資源，利用 Mesos 技術在集群中混合部署 Hadoop、Spark、Kafka、Hbase、Storm 等大數(shù)據(jù)應用，提高集群計算資源利用率，按需為各種大數(shù)據(jù)應用分配資源。

數(shù)人云以 Docker 形式進行應用分發(fā)，每個大數(shù)據(jù)應用打包成 Docker，輕松實現(xiàn)快速部署。通過 Mesos 技術，數(shù)人云面向數(shù)據(jù)中心對計算資源進行統(tǒng)一管理和調度，為應用提供彈性伸縮能力，輕松實現(xiàn)大數(shù)據(jù)平臺的一鍵擴容。

來源：比特網(wǎng)