Hadoop是低成本的大數(shù)據(jù)解決方案?別逗了!

Hadoop 阿里云大數(shù)據(jù) 解決方案

jean | 2016-06-03 11:56

【數(shù)據(jù)猿導(dǎo)讀】國內(nèi)做大數(shù)據(jù)，基本就這兩個(gè)選擇：自建Hadoop或者使用阿里云的MaxCompute(就是原來的ODPS)。你可能不知道這里的成本到底有什么差別，本文我們就來對比一下這兩個(gè)主流的技術(shù)選型

Hadoop是當(dāng)下流行的大數(shù)據(jù)并行計(jì)算體系，橫向擴(kuò)展、生態(tài)圈成熟等一直是它的主要特點(diǎn)。但這些特點(diǎn)當(dāng)中，絕對不包含廉價(jià)。

可能你認(rèn)為的低成本，實(shí)際上只是硬件和軟件授權(quán)成本，而不是總體成本。在學(xué)習(xí)成本、開發(fā)成本、管理成本上Hadoop并不總是占優(yōu)?，F(xiàn)在伴隨公有云技術(shù)的成熟，Hadoop甚至連硬件成本也不占優(yōu)了。

Hadoop與阿里云MaxCompute的成本對比

國內(nèi)做大數(shù)據(jù)，基本就這兩個(gè)選擇：自建Hadoop或者使用阿里云的MaxCompute(就是原來的ODPS)。像Amazon、Google、微軟的大數(shù)據(jù)服務(wù)在國內(nèi)基本處于不可用或者很難用的狀態(tài)。

這里，我們就來對比一下這兩個(gè)主流的技術(shù)選型：

以企業(yè)擁有10TB數(shù)據(jù)為例，自建hadoop集群，則至少需要6臺機(jī)器(3nodes+2NameNode+1jobtracker)，成本在20萬左右。除此之外，還需要投入機(jī)房資源，網(wǎng)絡(luò)設(shè)備和運(yùn)維成本。這其中主要是運(yùn)維成本，要知道一個(gè)運(yùn)維人員的成本一年至少15萬。這樣，整體算下來要55萬左右。

如果采用阿里云的MaxCompute，按照現(xiàn)在的報(bào)價(jià)，大約需要32160(存儲費(fèi)用)+45000(計(jì)算費(fèi)用)=77160元。也就是說二者的成本差距在7倍以上。

按照Hortonworks首席技術(shù)官EricBaldeschwieler關(guān)于成本的陳述，就更為夸張：硬件成本只占Hadoop數(shù)據(jù)中心總成本的20%。

掀開Hadoop的蓋子這些隱性成本你需要知道

“Hadoop是一個(gè)框架，不是一個(gè)解決方案”——在解決大數(shù)據(jù)分析的問題上人們誤認(rèn)為Hadoop可以立即有效工作，而實(shí)際上對于簡單的查詢，它是可以的。但對于難一些的分析問題，Hadoop會迅速敗下陣來，因?yàn)樾枰阒苯娱_發(fā)Map/Reduce代碼。出于這個(gè)原因，Hadoop更像是J2EE編程環(huán)境而不是商業(yè)分析解決方案。所謂框架意味著你一定要在之上做個(gè)性化和業(yè)務(wù)相關(guān)的開發(fā)和實(shí)現(xiàn)，而這些都需要成本。

同時(shí)，因?yàn)镠adoop龐大的生態(tài)系統(tǒng)，也導(dǎo)致了學(xué)習(xí)成本奇高。目前Hadoop生態(tài)中包括了幾十種相關(guān)的產(chǎn)品，常見的就有：MapReduce、HDFS、Hive、hbase、YARN、Zookeeper、Avro、JAQL、PIG、solr、mesos、shark、stream、storm。熟悉這些產(chǎn)品的部署步驟、功能特性、開發(fā)方法都需要付出高昂的學(xué)習(xí)成本。

有開發(fā)者評論說，“它變得好像是用一個(gè)錘子來建造一個(gè)房屋”，這并不是不可能，但是帶來了“不必要的痛苦和可笑的低效成本”。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。