大數(shù)據(jù)是企業(yè)服務(wù)市場(chǎng)中的新興領(lǐng)域，短短幾年時(shí)間，大數(shù)據(jù)概念從興起到落地，開始在各行各業(yè)發(fā)揮作用，行業(yè)政策頻出，技術(shù)飛速發(fā)展，受到資本追捧。

整個(gè)大數(shù)據(jù)行業(yè)可大致分為三層，底層基礎(chǔ)平臺(tái)，中間層通用技術(shù)，上層行業(yè)應(yīng)用。接下來，愛分析將按照上述分類，逐步介紹各細(xì)分領(lǐng)域的行業(yè)現(xiàn)狀、未來前景。今天是大數(shù)據(jù)系列的第一篇——底層基礎(chǔ)平臺(tái)。

底層基礎(chǔ)平臺(tái)主要解決的是數(shù)據(jù)存儲(chǔ)、計(jì)算的問題，是整個(gè)大數(shù)據(jù)生態(tài)的基石。采集到的數(shù)據(jù)，首先要能高效、快捷地存起來，才能進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘。

這一層非常重要，同時(shí)也是技術(shù)含量最高的一層。以底層技術(shù)中明星Hadoop為例，用Hadoop的公司很多，能做Hadoop發(fā)行版的公司鳳毛麟角。

底層基礎(chǔ)平臺(tái)細(xì)分領(lǐng)域里的大數(shù)據(jù)公司眾多，有專注Hadoop發(fā)行版的星環(huán)科技、紅象云騰和天云大數(shù)據(jù)，有傳統(tǒng)數(shù)據(jù)庫(kù)廠商人大金倉(cāng)和南大通用，有研發(fā)新型分布式數(shù)據(jù)庫(kù)的巨杉數(shù)據(jù)庫(kù)，還有唯一來自中國(guó)的Apache社區(qū)頂級(jí)項(xiàng)目Kylin背后公司Kyligence。

這里面最受人關(guān)注的Hadoop以及由此衍生的公司，接下來愛分析為您重點(diǎn)闡述國(guó)內(nèi)外Hadoop生態(tài)的現(xiàn)狀。

Hadoop興起的原因：便宜才是硬道理

進(jìn)入新世紀(jì)的第一個(gè)十年，各大企業(yè)都在大力投入IT設(shè)備，建設(shè)自己的機(jī)房，上線各套辦公系統(tǒng)。第二個(gè)十年，經(jīng)濟(jì)下行，傳統(tǒng)企業(yè)的盈利下降，對(duì)IT設(shè)備的投入已經(jīng)不像上個(gè)十年那般狂熱，大型企業(yè)采購(gòu)IT設(shè)備的經(jīng)費(fèi)受到控制，開始核算成本，意圖在滿足需求的情況下，降低投入。

以Hadoop為代表的新底層技術(shù)能夠興起，拋開技術(shù)原因，最主要的原因是便宜、擴(kuò)展性強(qiáng)。利用分布式架構(gòu)，將一些性能一般的機(jī)器串聯(lián)起來，達(dá)到與高性能單機(jī)同樣的效果。隨著公司發(fā)展，數(shù)據(jù)量增大，不需要更換全套設(shè)備，只需要再增加機(jī)器就可以達(dá)到目的，省時(shí)省力。

分布式架構(gòu)的技術(shù)很多，為什么Hadoop最后勝出?還是因?yàn)楸阋耍玫娜硕唷Ｒ晕④浀腃osmos為例，這套系統(tǒng)本身優(yōu)于Hadoop，主要是針對(duì)大型機(jī)房，設(shè)計(jì)理念很好，上萬臺(tái)機(jī)器的機(jī)房，拿出幾十臺(tái)做別的事情，來提升系統(tǒng)運(yùn)營(yíng)效率。但如果是幾十臺(tái)機(jī)器，仍然需要拿出很大一部分來做別的事情，機(jī)器使用效率就很低。

實(shí)際應(yīng)用時(shí)，用上萬臺(tái)機(jī)器的公司少，用幾十臺(tái)機(jī)器的公司多，因此Hadoop的應(yīng)用面更廣。用的人多，自然幫助優(yōu)化架構(gòu)的人多，社區(qū)貢獻(xiàn)的人多，技術(shù)發(fā)展快，漸漸成為主流。

國(guó)外Hadoop三駕馬車，商業(yè)模式各有差異

Hadoop三駕馬車，數(shù)據(jù)源：公司公告，愛分析整理

提到Hadoop，必然要提到國(guó)外三家圍繞Hadoop技術(shù)的公司：Cloudera、Hortonworks和MapR。三家公司都成立時(shí)間不長(zhǎng)，Cloudera和MapR都是2009年成立,而Hortonworks是2011年從雅虎獨(dú)立出來。

三家公司都在資本市場(chǎng)上受到追捧。Hortonworks在2014年上市，IPO當(dāng)天市值接近11億美金;Cloudera獲得英特爾7.4億美金的投資，估值近50億美金;MapR最近剛剛獲得5000萬美金融資，估值也超過10億美金。

Hadoop技術(shù)是開源的，為什么還有公司會(huì)提供Hadoop相關(guān)服務(wù)?這是因?yàn)殚_源技術(shù)的兼容性和穩(wěn)定性比較差，同時(shí)，企業(yè)在實(shí)際應(yīng)用中需要將開源技術(shù)和自身系統(tǒng)、產(chǎn)品相連接，這就是Hadoop發(fā)行版的市場(chǎng)所在，三家公司利用自己在這領(lǐng)域的技術(shù)、經(jīng)驗(yàn)積累，幫助企業(yè)更好地應(yīng)用Hadoop技術(shù)。

盡管三家公司都是提供Hadoop相關(guān)服務(wù)，但是商業(yè)模式區(qū)別不小。Cloudera和MapR都研發(fā)自己的Hadoop發(fā)行版，只不過MapR的技術(shù)完全閉源，不會(huì)對(duì)外開放，而Cloudera的產(chǎn)品分為免費(fèi)版和企業(yè)版，只有企業(yè)版的核心組件不對(duì)外開放，其他技術(shù)均提供給社區(qū)。Hortonworks將自己的技術(shù)完全貢獻(xiàn)給社區(qū)，不靠產(chǎn)品獲利，靠派駐技術(shù)人員到客戶現(xiàn)場(chǎng)提供服務(wù)盈利。

因?yàn)镸apR的技術(shù)不開源，所以對(duì)社區(qū)貢獻(xiàn)有限，目前對(duì)Apache Hadoop社區(qū)影響最大的是Cloudera和Hortonworks這兩家公司。

國(guó)內(nèi)市場(chǎng)處于跑馬圈地階段，新興大數(shù)據(jù)公司剛剛起步

正如開篇所言，盡管近年大數(shù)據(jù)行業(yè)風(fēng)起云涌，創(chuàng)業(yè)公司如雨后春筍般冒出，卻少有專注底層基礎(chǔ)平臺(tái)的公司。

星環(huán)科技是業(yè)內(nèi)的明星公司，創(chuàng)始團(tuán)隊(duì)來自原Intel開發(fā)Hadoop發(fā)行版的部門，經(jīng)驗(yàn)豐富。成立三年，星環(huán)科技已完成1.55億人民幣的B輪融資，估值超過10億人民幣，目前主要服務(wù)金融、電信領(lǐng)域客戶。

天云大數(shù)據(jù)和紅象云騰同樣在做底層基礎(chǔ)平臺(tái)，發(fā)展速度略遜于星環(huán)科技，都在尋找適合自身的發(fā)展路線。天云大數(shù)據(jù)的業(yè)務(wù)在向上層遷移，除了提供Hadoop發(fā)行版，目前也涉足復(fù)雜神經(jīng)網(wǎng)絡(luò)等算法技術(shù);紅象云騰將業(yè)務(wù)下沉，基于芯片層提升系統(tǒng)處理數(shù)據(jù)的效率。

當(dāng)前，銀行等大型企業(yè)紛紛喊出“去IOE”(IBM小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備)，盡管國(guó)產(chǎn)企業(yè)的產(chǎn)品尚不能滿足大型企業(yè)核心系統(tǒng)的要求，但是必然會(huì)有大量新業(yè)務(wù)的IT系統(tǒng)采用國(guó)產(chǎn)品牌，舊有業(yè)務(wù)面臨更新?lián)Q代也會(huì)優(yōu)先選擇國(guó)內(nèi)廠商。

數(shù)據(jù)庫(kù)等底層設(shè)施不同于上層應(yīng)用，更換成本較高，客戶黏性很大，非萬不得已不會(huì)進(jìn)行替換，同時(shí)Hadoop這類新技術(shù)迭代速度快，需要后期維護(hù)。因此，各家公司都在大力開拓市場(chǎng)，跑馬圈地。

新興公司服務(wù)客戶的方式類似，前期以產(chǎn)品為內(nèi)核，用項(xiàng)目制的形式幫助企業(yè)搭建系統(tǒng)，后期每年收取20%的維護(hù)費(fèi)。各家企業(yè)都在降低初裝費(fèi)，意圖占據(jù)市場(chǎng)，靠后期維護(hù)費(fèi)用收回成本。

巨頭環(huán)伺的市場(chǎng)，大數(shù)據(jù)初創(chuàng)公司突圍不易

在去IOE的趨勢(shì)下，中國(guó)大型企業(yè)都在面臨IT設(shè)備的更新?lián)Q代，整個(gè)底層基礎(chǔ)平臺(tái)市場(chǎng)潛力巨大。新興大數(shù)據(jù)公司利用其技術(shù)優(yōu)勢(shì)和初創(chuàng)公司的高效決策機(jī)制，迅速搶占一些市場(chǎng)份額，占據(jù)一席之地不成問題。

這類公司主要服務(wù)金融、電信、交通、電力等領(lǐng)域的大型企業(yè)，這些領(lǐng)域原本是傳統(tǒng)集成商的地盤，因此新興大數(shù)據(jù)公司不可避免地將與集成商正面競(jìng)爭(zhēng)。華為、浪潮、亞信等公司之前主要是為大型企業(yè)提供硬件基礎(chǔ)設(shè)施，近年看到大數(shù)據(jù)領(lǐng)域的巨大潛力，紛紛成立了大數(shù)據(jù)部門，為客戶提供全套解決方案。

愛分析認(rèn)為，未來幾年在底層基礎(chǔ)平臺(tái)領(lǐng)域誕生一家估值10億美金的獨(dú)角獸公司是可以預(yù)見的，但是這些大數(shù)據(jù)公司中出現(xiàn)類似Oracle這樣的巨頭公司可能性不大，基于以下幾點(diǎn)：

第一，產(chǎn)品同質(zhì)化嚴(yán)重，市場(chǎng)競(jìng)爭(zhēng)激烈

底層基礎(chǔ)平臺(tái)不同于上層應(yīng)用，客戶需求類似，產(chǎn)品很難體現(xiàn)出差異化優(yōu)勢(shì)。各家公司主要比拼產(chǎn)品性能的優(yōu)劣，這種技術(shù)上的差異，新興公司最初會(huì)占據(jù)一定優(yōu)勢(shì)，隨著開源技術(shù)的普及，華為等公司會(huì)逐步趕上，技術(shù)的差距會(huì)逐步縮小。

這個(gè)市場(chǎng)并非全新市場(chǎng)，華為、浪潮、亞信等公司在這領(lǐng)域盤桓多年，新興公司發(fā)展到一定程度，勢(shì)必會(huì)侵入集成商的地盤。最近這段時(shí)間，星環(huán)科技和華為競(jìng)爭(zhēng)非常激烈，價(jià)格戰(zhàn)打得火熱。

第二， 技術(shù)迭代更新快，長(zhǎng)期保持技術(shù)領(lǐng)先不易

Hadoop誕生于2006年，Spark于2009年出現(xiàn)，2013年Hadoop已經(jīng)發(fā)布2.0穩(wěn)定版本，兩種技術(shù)從誕生到成熟時(shí)間之短，令人震驚。在當(dāng)今這個(gè)技術(shù)快速發(fā)展的時(shí)代，新興大數(shù)據(jù)公司一方面要應(yīng)對(duì)市場(chǎng)競(jìng)爭(zhēng)，另一方面還要保持技術(shù)的領(lǐng)先地位，難度不小。

Hadoop等分布式架構(gòu)顛覆了傳統(tǒng)單機(jī)架構(gòu)，很難說未來不會(huì)有新技術(shù)出現(xiàn)顛覆掉Hadoop。一旦大數(shù)據(jù)公司賴以生存的根基遭到顛覆，謀求轉(zhuǎn)型勢(shì)必困難重重，公司大概率會(huì)失敗。不過目前Apache Hadoop社區(qū)運(yùn)作良好，Hadoop經(jīng)過這些年的改善優(yōu)化，性能和穩(wěn)定性上獲得很大提升，Spark等新技術(shù)大多都會(huì)對(duì)接在Hadoop上面。未來幾年這方面風(fēng)險(xiǎn)較小，畢竟技術(shù)發(fā)展到現(xiàn)在，獨(dú)自造輪子的難度很大。

第三， 產(chǎn)品銷售能力遜于傳統(tǒng)巨頭公司

企業(yè)級(jí)市場(chǎng)，產(chǎn)品銷售能力將成為影響公司發(fā)展的重要因素。以O(shè)racle為例，早年與Oracle競(jìng)爭(zhēng)的Sybase和Informix，其技術(shù)實(shí)力不遜于Oracle，Informix的技術(shù)甚至領(lǐng)先于Oracle。這兩家公司最后在競(jìng)爭(zhēng)中出局，落得被收購(gòu)的下場(chǎng)，主要是輸在市場(chǎng)推廣上，市場(chǎng)推廣的失利直接影響到公司的技術(shù)革新，最后導(dǎo)致衰落。

在這方面，華為等傳統(tǒng)巨頭公司占據(jù)絕對(duì)優(yōu)勢(shì)，一方面他們與客戶有長(zhǎng)期合作關(guān)系，另一方面銷售團(tuán)隊(duì)長(zhǎng)期服務(wù)大型企業(yè)，經(jīng)驗(yàn)豐富。

那么，什么樣的公司有機(jī)會(huì)突圍成功，成為中國(guó)的Oracle，愛分析認(rèn)為具備以下幾點(diǎn)的公司機(jī)會(huì)最大。

第一，開源心態(tài)有助于保持技術(shù)領(lǐng)先地位

以Hadoop為代表的開源技術(shù)正在改變世界，但開源和可持續(xù)盈利模式總是存在著一些矛盾，近期RethinkDB公司的倒閉值得警惕，國(guó)內(nèi)專注Hadoop技術(shù)的公司效仿國(guó)外找到了一條盈利模式，但目前仍然存在一些風(fēng)險(xiǎn)。

公司要不要保持開源的心態(tài)，開放自己的技術(shù)給更多人使用?對(duì)大數(shù)據(jù)公司而言，技術(shù)是核心競(jìng)爭(zhēng)力之一，特別是對(duì)于這些做基礎(chǔ)平臺(tái)的公司，開放技術(shù)無疑是削弱自身競(jìng)爭(zhēng)優(yōu)勢(shì)，降低產(chǎn)品的附加值，減少公司的毛利，短期來看，開放技術(shù)會(huì)對(duì)公司的營(yíng)收造成不良影響。

但是，從公司長(zhǎng)遠(yuǎn)發(fā)展來看，完全閉源會(huì)增大公司風(fēng)險(xiǎn)，其嚴(yán)重后果遠(yuǎn)遠(yuǎn)大于開放技術(shù)的影響。大數(shù)據(jù)公司最擔(dān)心的是路線圖出現(xiàn)偏差，自身技術(shù)與時(shí)代發(fā)展相左，喪失技術(shù)上的優(yōu)勢(shì)。一旦發(fā)生公司的技術(shù)發(fā)展方向背離整個(gè)行業(yè)發(fā)展方向，需要停止已研發(fā)的項(xiàng)目，掉頭追趕行業(yè)腳步，這對(duì)創(chuàng)業(yè)公司來說是非常致命的。

如果向開源社區(qū)開放自己技術(shù)，讓更多人了解、研究，有助于自身技術(shù)的發(fā)展，保證路線圖的正確性。同時(shí)，不斷向開源社區(qū)做出貢獻(xiàn)，還能提升公司在社區(qū)的話語權(quán)，進(jìn)而提升公司在行業(yè)的影響力。這也是為什么Cloudera和Hortonworks愿意開放技術(shù)，爭(zhēng)奪在Hadoop社區(qū)的話語權(quán)。影響了開源社區(qū)，就會(huì)影響到整個(gè)行業(yè)技術(shù)發(fā)展進(jìn)程，可以讓公司的發(fā)展始終保持在正確的軌道中。

第二， 商業(yè)拓展與技術(shù)研發(fā)同等重要

企業(yè)服務(wù)市場(chǎng)是銷售驅(qū)動(dòng)型市場(chǎng)，而非技術(shù)驅(qū)動(dòng)型，大數(shù)據(jù)這個(gè)細(xì)分領(lǐng)域同樣如此。技術(shù)實(shí)力再?gòu)?qiáng)，產(chǎn)品功能再多樣，也需要有客戶買單才行。有些創(chuàng)業(yè)公司只重視研發(fā)上的投入，輕視市場(chǎng)推廣，公司每年訂單少，營(yíng)收自然不高，團(tuán)隊(duì)規(guī)模上不去，融資困難，公司發(fā)展緩慢。

單純技術(shù)上的優(yōu)勢(shì)，在企業(yè)級(jí)市場(chǎng)并不是絕對(duì)影響因素。很多公司在POC階段都曾遇到過技術(shù)標(biāo)第一，卻因?yàn)樯虡I(yè)談判階段不理想而錯(cuò)失訂單的事情。特別是現(xiàn)在市場(chǎng)處于跑馬圈地階段，搶占位置比什么都重要，更是需要大力進(jìn)行商業(yè)拓展。一旦市場(chǎng)格局穩(wěn)定下來，到時(shí)候再切入市場(chǎng)難度很大。

另一方面，即使是基礎(chǔ)平臺(tái)技術(shù)，也需要在實(shí)際應(yīng)用中進(jìn)行改進(jìn)優(yōu)化，各行各業(yè)中應(yīng)用同樣的技術(shù)還是有一些差異，在應(yīng)用過程中才會(huì)真正了解企業(yè)的痛點(diǎn)，更好地服務(wù)企業(yè)。在做項(xiàng)目過程中，大數(shù)據(jù)公司可以積累經(jīng)驗(yàn)，將這些經(jīng)驗(yàn)內(nèi)化成產(chǎn)品的一部分，做出更適合中國(guó)企業(yè)用戶的基礎(chǔ)平臺(tái)產(chǎn)品，筑起公司的壁壘。

第三， 效仿Oracle，建立適合公司的小生態(tài)

建立生態(tài)這一點(diǎn)并不是適合初創(chuàng)公司，是公司發(fā)展到一定程度后需要考慮的。擴(kuò)大自己合作伙伴的隊(duì)伍，與其他公司共同開發(fā)產(chǎn)品，讓其他公司承擔(dān)一定銷售任務(wù)，有些時(shí)候要比單打獨(dú)斗更適合企業(yè)級(jí)市場(chǎng)。

Oracle這樣的巨頭公司，剛進(jìn)入中國(guó)市場(chǎng)時(shí)也遇到不小的阻力。當(dāng)時(shí)采取的做法是與中國(guó)本土公司合作，建立圍繞Oracle的小生態(tài)，借助本土公司的力量敲開中國(guó)市場(chǎng)的大門。

做底層基礎(chǔ)平臺(tái)的公司，作為連接硬件和應(yīng)用的中間層，更需要與其他公司合作。平臺(tái)上對(duì)接的應(yīng)用越多，越有助于平臺(tái)產(chǎn)品的推廣，開辟新的市場(chǎng)。

來源：愛分析