周鴻祎：大數(shù)據(jù)是未來科技的靈魂

大數(shù)據(jù) 人工智能周鴻祎

周鴻祎 | 2016-11-04 11:08

【數(shù)據(jù)猿導(dǎo)讀】在老周看來，大數(shù)據(jù)更像是管道設(shè)施，雖然重要，但無法被大家看到。大數(shù)據(jù)的核心是企業(yè)技術(shù)：數(shù)據(jù)收集、存儲、分析等，這些都是在后端發(fā)生的，只有技術(shù)人員可以看見。

大數(shù)據(jù)概念最火的時間是2011年到2014年，后來它的風(fēng)頭被人工智能和虛擬現(xiàn)實蓋過。那么，2016年之后，大數(shù)據(jù)還算不算個“東西”呢?我覺得有必要談一下。

大數(shù)據(jù)已經(jīng)不太可能成為曾經(jīng)那個世人矚目的炒作題材了，凡是火了一段時間之后仍然能夠引起大眾興趣的產(chǎn)品或服務(wù)，通常都可以被大家接觸和感知到，像移動應(yīng)用、可穿戴智能設(shè)備、社交網(wǎng)絡(luò)等。大數(shù)據(jù)更像是管道設(shè)施，雖然重要，但無法被大家看到。大數(shù)據(jù)的核心是企業(yè)技術(shù)：數(shù)據(jù)收集、存儲、分析等，這些都是在后端發(fā)生的，只有技術(shù)人員可以看見。

大數(shù)據(jù)概念的盛行，主要是受到了一些主流互聯(lián)網(wǎng)公司的推動，比如谷歌和臉書，他們自己本身就是大數(shù)據(jù)技術(shù)的重度用戶，同時也在推動這項技術(shù)發(fā)展。后來隨著開源運(yùn)動的迅速發(fā)展，促使大數(shù)據(jù)領(lǐng)域的新技術(shù)共享到更廣的范圍，這為互聯(lián)網(wǎng)大公司的工程師離職去做大數(shù)據(jù)相關(guān)的創(chuàng)業(yè)提供了有利條件。

隨著一些嶄露頭角的“獨角獸”公司，以及更多胸懷大志、運(yùn)營良好的中等規(guī)模的公司也開始面臨大數(shù)據(jù)技術(shù)需求，由于它們自身不具備大數(shù)據(jù)的基礎(chǔ)設(shè)施，所以自然就成為大數(shù)據(jù)企業(yè)的第一批客戶。大數(shù)據(jù)行業(yè)初期的成功引發(fā)了更多的創(chuàng)業(yè)活動，也帶來了資本的進(jìn)入，大數(shù)據(jù)因此順勢而起。

這樣發(fā)展了一段時間之后，大數(shù)據(jù)領(lǐng)域也隨之出現(xiàn)了更加棘手的問題，就是讓跨國公司級別的企業(yè)采用大數(shù)據(jù)技術(shù)。為什么說它棘手呢?因為這些公司基本上不是“數(shù)字原生”的公司，它們也不具備有利條件。這些公司現(xiàn)有的技術(shù)基礎(chǔ)設(shè)施都是成熟的，在傳統(tǒng)的模式下不會犯錯，但它們未必是功能完備的。

我們知道，一個規(guī)模龐大企業(yè)的管理人員都具備前瞻性，他們都認(rèn)為對自己企業(yè)遺留的基礎(chǔ)設(shè)施進(jìn)行現(xiàn)代化改造越早越好，但出于謹(jǐn)慎，他們不會一夜間就把自己的關(guān)鍵環(huán)節(jié)棄而遠(yuǎn)之。大企業(yè)之所以會如此謹(jǐn)慎，有兩方面原因：一是大數(shù)據(jù)公司普遍為初創(chuàng)企業(yè)，大企業(yè)對由年輕的公司來處理自己的基礎(chǔ)設(shè)施難免感到不放心;二是大企業(yè)對于安全的擔(dān)憂，大多數(shù)企業(yè)都會拒絕把數(shù)據(jù)遷移到云端。

從大數(shù)據(jù)行業(yè)的內(nèi)部來看，大數(shù)據(jù)的成功不是由實現(xiàn)技術(shù)的某一方面而實現(xiàn)的，它需要把技術(shù)、人和流程糅合到一起，收集數(shù)據(jù)、存儲數(shù)據(jù)、清洗數(shù)據(jù)、查詢數(shù)據(jù)、分析數(shù)據(jù)和對數(shù)據(jù)進(jìn)行可視化等工作是有分工的。有的由機(jī)器來完成，有的需要人來做，但是整體是要無縫集成起來的，也就是說，以數(shù)據(jù)為中心，公司整體以數(shù)據(jù)為驅(qū)動。

對于大數(shù)據(jù)的發(fā)展，我把它分為下面5個階段。

1. 部署階段

2011~2013年，互聯(lián)網(wǎng)公司開始實驗大數(shù)據(jù)技術(shù)，推出了若干的Hadoop試點計劃或者嘗試一些試點方案，由此出現(xiàn)了諸如“數(shù)據(jù)科學(xué)家”和“首席數(shù)據(jù)官”等此前并不存在的職位。他們做了很多努力，但是依然沒有出現(xiàn)足夠多的、可以展示的成果。此時，更多的公司對大數(shù)據(jù)技術(shù)持觀望態(tài)度，它們寄望于某個大型供應(yīng)商可以提供一個一站式解決方案，比如IBM，但這種情況并沒有出現(xiàn)。

2. 生態(tài)體系正在成熟

當(dāng)一部分大數(shù)據(jù)企業(yè)完成了融資，企業(yè)規(guī)模得到了擴(kuò)大時，更重要的是它們從早期的失敗中獲得了寶貴的經(jīng)驗，已經(jīng)可以提供成熟、經(jīng)受過考驗的產(chǎn)品。其中的佼佼者已經(jīng)成功上市，比如2015年上市的Hortonworks，沒上市的也已經(jīng)獲得上億美元融資，在資金方面看起來不會顯得那么單薄，比如Cloudera。

隨著大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)持續(xù)進(jìn)行，公司的數(shù)量與日俱增。行業(yè)的基本趨勢也慢慢發(fā)生了變化，大數(shù)據(jù)業(yè)務(wù)的中心從基礎(chǔ)設(shè)施(開發(fā)者和工程師)轉(zhuǎn)移到了數(shù)據(jù)分析(數(shù)據(jù)科學(xué)家和分析師)，甚至在應(yīng)用方面也已經(jīng)初露端倪。

3. 大數(shù)據(jù)基礎(chǔ)設(shè)施持續(xù)創(chuàng)新

盡管大數(shù)據(jù)的重心已經(jīng)轉(zhuǎn)移，但是基礎(chǔ)設(shè)施領(lǐng)域的創(chuàng)新仍然富有活力。2015年，Apache Spark大熱，這個利用了內(nèi)存處理的開源框架受到了IBM、Cloudera等企業(yè)的擁護(hù)。

Apache Spark 的出現(xiàn)解決了一些導(dǎo)致Hadoop采用放緩的關(guān)鍵問題：Apache Spark數(shù)據(jù)分析更快，更容易編程，并且跟機(jī)器學(xué)習(xí)能夠很好地搭配。

在數(shù)據(jù)庫領(lǐng)域內(nèi)，也出現(xiàn)了很多新興玩家，出現(xiàn)了很多令人興奮的技術(shù)進(jìn)步，比如圖形數(shù)據(jù)庫的成熟、專門數(shù)據(jù)庫的出現(xiàn)，比如統(tǒng)計時序數(shù)據(jù)庫InfluxDB。此外，數(shù)據(jù)倉庫也在不斷演變。

4. 大數(shù)據(jù)分析與人工智能結(jié)合

大數(shù)據(jù)分析越來越關(guān)注利用人工智能來幫助分析大規(guī)模的數(shù)據(jù)。其實，有很大一部分人工智能在某種程度上來說是大數(shù)據(jù)的產(chǎn)物，深度學(xué)習(xí)概念在10年前提出，而其背后的算法在幾十年前就誕生了，但它真正發(fā)揮出最大的潛能還是在應(yīng)用到大數(shù)據(jù)之后。人工智能與大數(shù)據(jù)之間的關(guān)系非常緊密，它們似乎就是天生的一對搭檔。

5. 大數(shù)據(jù)應(yīng)用的加速發(fā)展

在大數(shù)據(jù)核心基礎(chǔ)設(shè)施的挑戰(zhàn)一一得到解決之后，大數(shù)據(jù)應(yīng)用必將以飛快的速度構(gòu)建起來。在企業(yè)內(nèi)部，已經(jīng)有足夠多的工具來幫助跨多個核心職能的企業(yè)用戶，比如銷售和營銷的大數(shù)據(jù)應(yīng)用通過處理大規(guī)模的內(nèi)外部數(shù)據(jù)就可以分析出哪些客戶會購買、續(xù)約或者流失，并且這些分析結(jié)果都將是實時得出的。

這些大數(shù)據(jù)應(yīng)用依托在最新的大數(shù)據(jù)技術(shù)基礎(chǔ)上開發(fā)，客戶無須部署底層大數(shù)據(jù)技術(shù)，即可利用大數(shù)據(jù)，而底層的技術(shù)已經(jīng)是打包的，這是未來的一個趨勢。另外，人工智能在應(yīng)用層也將得到廣泛應(yīng)用，比如在安全領(lǐng)域用來對付黑客。

然而，隨著大數(shù)據(jù)的深度發(fā)展，這個詞可能會變得越來越冷，不是因為它過時或者不重要了，而是因為它將成為未來科技的血液，在我們看不到的地方發(fā)揮作用。對于技術(shù)層面的東西，這或許就是最好的命運(yùn)歸宿。

來源：老周開講

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。