1.大數(shù)據(jù)興起預(yù)示“信息時(shí)代”進(jìn)入新階段

1.1 看待大數(shù)據(jù)要有歷史性的眼光

信息時(shí)代是相對(duì)于農(nóng)業(yè)和工業(yè)時(shí)代而言的一段相當(dāng)長(zhǎng)的時(shí)間。不同時(shí)代的生產(chǎn)要素和社會(huì)發(fā)展驅(qū)動(dòng)力有明顯差別。信息時(shí)代的標(biāo)志性技術(shù)發(fā)明是數(shù)字計(jì)算機(jī)、集成電路、光纖通信和互聯(lián)網(wǎng)(萬(wàn)維網(wǎng))。盡管媒體上大量出現(xiàn)“大數(shù)據(jù)時(shí)代”的說(shuō)法，但大數(shù)據(jù)、云計(jì)算等新技術(shù)目前還沒(méi)有出現(xiàn)與上述劃時(shí)代的技術(shù)發(fā)明可媲美的技術(shù)突破，難以構(gòu)成一個(gè)超越信息時(shí)代的新時(shí)代。信息時(shí)代可以分成若干階段，大數(shù)據(jù)等新技術(shù)的應(yīng)用標(biāo)志著信息社會(huì)將進(jìn)入一個(gè)新階段。

考察分析100年以上的歷史長(zhǎng)河可以發(fā)現(xiàn)，信息時(shí)代與工業(yè)時(shí)代的發(fā)展規(guī)律有許多相似之處。電氣化時(shí)代與信息時(shí)代生產(chǎn)率的提高過(guò)程驚人地相似。都是經(jīng)過(guò)20到30年擴(kuò)散儲(chǔ)備之后才有明顯提高，分界線分別是1915年和1995年。筆者猜想，信息技術(shù)經(jīng)過(guò)幾十年的擴(kuò)散儲(chǔ)備后，21世紀(jì)的前30年可能是信息技術(shù)提高生產(chǎn)率的黃金時(shí)期。

1.2 從“信息時(shí)代新階段”的高度認(rèn)識(shí)“大數(shù)據(jù)”

中國(guó)已開始進(jìn)入信息時(shí)代，但許多人的思想還停留在工業(yè)時(shí)代。經(jīng)濟(jì)和科技工作中出現(xiàn)的許多問(wèn)題，其根源是對(duì)時(shí)代的認(rèn)識(shí)不到位。18-19世紀(jì)中國(guó)落后挨打，根源是滿清政府沒(méi)有認(rèn)識(shí)到時(shí)代變了，我們不能重犯歷史性的錯(cuò)誤。

中央提出中國(guó)進(jìn)入經(jīng)濟(jì)“新常態(tài)”以后，媒體上有很多討論，但多數(shù)是為經(jīng)濟(jì)增速降低做解釋，很少有從時(shí)代改變的角度論述“新常態(tài)”的文章。筆者認(rèn)為，經(jīng)濟(jì)新常態(tài)意味著中國(guó)進(jìn)入了以信息化帶動(dòng)新型工業(yè)化、城鎮(zhèn)化和農(nóng)業(yè)現(xiàn)代化的新階段，是經(jīng)濟(jì)和社會(huì)管理的躍遷，不是權(quán)宜之計(jì)，更不是倒退。

大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)構(gòu)成的IT架構(gòu)“第三平臺(tái)”是信息社會(huì)進(jìn)入新階段的標(biāo)志，對(duì)整個(gè)經(jīng)濟(jì)的轉(zhuǎn)型有引領(lǐng)和帶動(dòng)作用。媒體上經(jīng)常出現(xiàn)的互聯(lián)網(wǎng)+、創(chuàng)客、“第二次機(jī)器革命”、“工業(yè)4.0”等都與大數(shù)據(jù)和云計(jì)算有關(guān)。大數(shù)據(jù)和云計(jì)算是新常態(tài)下提高生產(chǎn)率的新杠桿，所謂創(chuàng)新驅(qū)動(dòng)發(fā)展就是主要依靠信息技術(shù)促進(jìn)生產(chǎn)率的提高。

1.3 大數(shù)據(jù)可能是中國(guó)信息產(chǎn)業(yè)從跟蹤走向引領(lǐng)的突破口

中國(guó)的大數(shù)據(jù)企業(yè)已經(jīng)有相當(dāng)好的基礎(chǔ)。全球十大互聯(lián)網(wǎng)服務(wù)企業(yè)中國(guó)占有4席(阿里巴巴、騰訊、百度和京東)，其他6個(gè)Top10互聯(lián)網(wǎng)服務(wù)企業(yè)全部是美國(guó)企業(yè)，歐洲和日本沒(méi)有互聯(lián)網(wǎng)企業(yè)進(jìn)入Top10。這說(shuō)明中國(guó)企業(yè)在基于大數(shù)據(jù)的互聯(lián)網(wǎng)服務(wù)業(yè)務(wù)上已處于世界前列。在發(fā)展大數(shù)據(jù)技術(shù)上，我國(guó)有可能改變過(guò)去30年技術(shù)受制于人的局面，在大數(shù)據(jù)應(yīng)用上中國(guó)有可能在全世界起到引領(lǐng)作用。

但是，企業(yè)的規(guī)模走在世界前列并不表示我國(guó)在大數(shù)據(jù)技術(shù)上領(lǐng)先。實(shí)際上，國(guó)際上目前流行的大數(shù)據(jù)主流技術(shù)沒(méi)有一項(xiàng)是我國(guó)開創(chuàng)的。開源社區(qū)和眾包是發(fā)展大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)的重要途徑，但我們對(duì)開源社區(qū)的貢獻(xiàn)很小，在全球近萬(wàn)名社區(qū)核心志愿者中，我國(guó)可能不到200名。我們要吸取過(guò)去基礎(chǔ)研究為企業(yè)提供核心技術(shù)不夠的教訓(xùn)，加強(qiáng)大數(shù)據(jù)基礎(chǔ)研究和前瞻技術(shù)研究，努力攻克大數(shù)據(jù)核心和關(guān)鍵技術(shù)。

2.理解大數(shù)據(jù)需要上升到文化和認(rèn)識(shí)論的高度

2.1 數(shù)據(jù)文化是一種先進(jìn)文化

數(shù)據(jù)文化的本質(zhì)是尊重客觀世界的實(shí)事求是精神，數(shù)據(jù)就是事實(shí)。重視數(shù)據(jù)就是強(qiáng)調(diào)用事實(shí)說(shuō)話、按理性思維的科學(xué)精神。中國(guó)人的傳統(tǒng)習(xí)慣是定性思維而不是定量思維。目前許多城市在開展政府?dāng)?shù)據(jù)開放共享工作，但是發(fā)現(xiàn)多數(shù)老百姓對(duì)政府要開放的數(shù)據(jù)并不感興趣。要讓大數(shù)據(jù)走上健康的發(fā)展軌道，首先要大力弘揚(yáng)數(shù)據(jù)文化。本文講的數(shù)據(jù)文化不只是大數(shù)據(jù)用于文藝、出版等文化產(chǎn)業(yè)，而是指全民的數(shù)據(jù)意識(shí)。全社會(huì)應(yīng)認(rèn)識(shí)到：信息化的核心是數(shù)據(jù)，只有政府和大眾都關(guān)注數(shù)據(jù)時(shí)，才能真正理解信息化的實(shí)質(zhì);數(shù)據(jù)是一種新的生產(chǎn)要素，大數(shù)據(jù)的利用可以改變資本和土地等傳統(tǒng)要素在經(jīng)濟(jì)中的權(quán)重。

有人將“上帝與數(shù)據(jù)共舞”歸納為美國(guó)文化的特點(diǎn)之一，說(shuō)的是美國(guó)人既有對(duì)神的誠(chéng)意，又有通過(guò)數(shù)據(jù)求真的理性。美國(guó)從鍍金時(shí)代到進(jìn)步主義時(shí)期完成了數(shù)據(jù)文化的思維轉(zhuǎn)變，南北戰(zhàn)爭(zhēng)之后人口普查的方法被應(yīng)用到很多領(lǐng)域，形成了數(shù)據(jù)預(yù)測(cè)分析的思維方式。近百年來(lái)美國(guó)和西方各國(guó)的現(xiàn)代化與數(shù)據(jù)文化的傳播滲透有密切關(guān)系，我國(guó)要實(shí)現(xiàn)現(xiàn)代化也必須強(qiáng)調(diào)數(shù)據(jù)文化。

提高數(shù)據(jù)意識(shí)的關(guān)鍵是要理解大數(shù)據(jù)的戰(zhàn)略意義。數(shù)據(jù)是與物質(zhì)、能源一樣重要的戰(zhàn)略資源，數(shù)據(jù)的采集和分析涉及每一個(gè)行業(yè)，是帶有全局性和戰(zhàn)略性的技術(shù)。從硬技術(shù)到軟技術(shù)的轉(zhuǎn)變是當(dāng)今全球性的技術(shù)發(fā)展趨勢(shì)，而從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值的技術(shù)正是最有活力的軟技術(shù)，數(shù)據(jù)技術(shù)與數(shù)據(jù)產(chǎn)業(yè)的落后將使我們像錯(cuò)過(guò)工業(yè)革命機(jī)會(huì)一樣延誤一個(gè)時(shí)代。

2.2 理解大數(shù)據(jù)需要有正確的認(rèn)識(shí)論

歷史上科學(xué)研究是從邏輯演繹開始的，歐幾里得幾何的所有定理可從幾條公理推導(dǎo)出來(lái)。從伽利略和牛頓開始，科學(xué)研究更加重視自然觀察和實(shí)驗(yàn)觀察，在觀察基礎(chǔ)上通過(guò)歸納方法提煉出科學(xué)理論，“科學(xué)始于觀察”成為科學(xué)研究和認(rèn)識(shí)論的主流。經(jīng)驗(yàn)論和唯理論這兩大流派都對(duì)科學(xué)的發(fā)展做出過(guò)重大貢獻(xiàn)，但也暴露出明顯的問(wèn)題，甚至走入極端。理性主義走向極端就成為康德所批判的獨(dú)斷主義，經(jīng)驗(yàn)主義走入極端就變成懷疑論和不可知論。

20世紀(jì)30年代，德國(guó)哲學(xué)家波普爾提出了被后人稱為“證偽主義”的認(rèn)識(shí)論觀點(diǎn)，他認(rèn)為科學(xué)理論不能用歸納法證實(shí)，只能被試驗(yàn)發(fā)現(xiàn)的反例“證偽”，因而他否定科學(xué)始于觀察，提出“科學(xué)始于問(wèn)題”的著名觀點(diǎn)。證偽主義有其局限性，如果嚴(yán)格遵守證偽法則，萬(wàn)有引力定律、原子論等重要理論都可能被早期的所謂反例扼殺。但“科學(xué)始于問(wèn)題”的觀點(diǎn)對(duì)當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展有指導(dǎo)意義。

大數(shù)據(jù)的興起引發(fā)了新的科學(xué)研究模式：“科學(xué)始于數(shù)據(jù)”。從認(rèn)識(shí)論的角度看，大數(shù)據(jù)分析方法與“科學(xué)始于觀察”的經(jīng)驗(yàn)論較為接近，但我們要牢記歷史的教訓(xùn)，避免滑入否定理論作用的經(jīng)驗(yàn)主義泥坑。在強(qiáng)調(diào)“相關(guān)性”的時(shí)候不要懷疑“因果性”的存在;在宣稱大數(shù)據(jù)的客觀性、中立性的時(shí)候，不要忘了不管數(shù)據(jù)的規(guī)模如何，大數(shù)據(jù)總會(huì)受制于自身的局限性和人的偏見。不要相信這樣的預(yù)言：“采用大數(shù)據(jù)挖掘，你不需要對(duì)數(shù)據(jù)提出任何問(wèn)題，數(shù)據(jù)就會(huì)自動(dòng)產(chǎn)生知識(shí)”。面對(duì)像大海一樣的巨量數(shù)據(jù)，從事數(shù)據(jù)挖掘的科技人員最大的困惑是，我們想撈的“針”是什么?這海里究竟有沒(méi)有“針”?也就是說(shuō)，我們需要知道要解決的問(wèn)題是什么。從這個(gè)意義上講，“科學(xué)始于數(shù)據(jù)”與“科學(xué)始于問(wèn)題”應(yīng)有機(jī)地結(jié)合起來(lái)。

對(duì)“原因”的追求是科學(xué)發(fā)展的永恒動(dòng)力。但是，原因是追求不完的，人類在有限的時(shí)間內(nèi)不可能找到“終極真理”。在科學(xué)的探索途中，人們往往用“這是客觀規(guī)律”解釋世界，并不立即追問(wèn)為什么有這樣的客觀規(guī)律。也就是說(shuō)，傳統(tǒng)科學(xué)并非只追尋因果性，也可以用客觀規(guī)律作為結(jié)論。大數(shù)據(jù)研究的結(jié)果多半是一些新的知識(shí)或新的模型，這些知識(shí)和模型也可以用來(lái)預(yù)測(cè)未來(lái)，可以認(rèn)為是一類局部性的客觀規(guī)律。科學(xué)史上通過(guò)小數(shù)據(jù)模型發(fā)現(xiàn)一般性規(guī)律的例子不少，比如開普勒歸納的天體運(yùn)動(dòng)規(guī)律等;而大數(shù)據(jù)模型多半是發(fā)現(xiàn)一些特殊性的規(guī)律。物理學(xué)中的定律一般具有必然性，但大數(shù)據(jù)模型不一定具有必然性，也不一定具有可演繹性。大數(shù)據(jù)研究的對(duì)象往往是人的心理和社會(huì)，在知識(shí)階梯上位于較高層，其自然邊界是模糊的，但有更多的實(shí)踐特征。大數(shù)據(jù)研究者更重視知行合一，相信實(shí)踐論。大數(shù)據(jù)認(rèn)識(shí)論有許多與傳統(tǒng)認(rèn)識(shí)論不同的特點(diǎn)，我們不能因其特點(diǎn)不同就否定大數(shù)據(jù)方法的科學(xué)性。大數(shù)據(jù)研究挑戰(zhàn)了傳統(tǒng)認(rèn)識(shí)論對(duì)因果性的偏愛，用數(shù)據(jù)規(guī)律補(bǔ)充了單一的因果規(guī)律，實(shí)現(xiàn)了唯理論和經(jīng)驗(yàn)論的數(shù)據(jù)化統(tǒng)一，一種全新的大數(shù)據(jù)認(rèn)識(shí)論正在形成。

3.正確認(rèn)識(shí)大數(shù)據(jù)的價(jià)值和效益

3.1 大數(shù)據(jù)的價(jià)值主要體現(xiàn)為它的驅(qū)動(dòng)效應(yīng)

人們總是期望從大數(shù)據(jù)中挖掘出意想不到的“大價(jià)值”。實(shí)際上大數(shù)據(jù)的價(jià)值主要體現(xiàn)在它的驅(qū)動(dòng)效應(yīng)，即帶動(dòng)有關(guān)的科研和產(chǎn)業(yè)發(fā)展，提高各行各業(yè)通過(guò)數(shù)據(jù)分析解決困難問(wèn)題和增值的能力。大數(shù)據(jù)對(duì)經(jīng)濟(jì)的貢獻(xiàn)并不完全反映在大數(shù)據(jù)公司的直接收入上，應(yīng)考慮對(duì)其他行業(yè)效率和質(zhì)量提高的貢獻(xiàn)。大數(shù)據(jù)是典型的通用技術(shù)，理解通用技術(shù)要采用“蜜蜂模型”：蜜蜂的效益主要不是自己釀的蜂蜜，而是蜜蜂傳粉對(duì)農(nóng)業(yè)的貢獻(xiàn)。

電子計(jì)算機(jī)的創(chuàng)始人之一馮·諾依曼曾指出：“在每一門科學(xué)中，當(dāng)通過(guò)研究那些與終極目標(biāo)相比頗為樸實(shí)的問(wèn)題，發(fā)展出一些可以不斷加以推廣的方法時(shí)，這門學(xué)科就得到了巨大的進(jìn)展。”我們不必天天期盼奇跡出現(xiàn)，多做一些“頗為樸實(shí)”的事情，實(shí)際的進(jìn)步就在扎扎實(shí)實(shí)的努力之中。媒體喜歡宣傳一些令人驚奇的大數(shù)據(jù)成功案例，對(duì)這些案例我們應(yīng)保持清醒的頭腦。據(jù)Intel中國(guó)研究院首席工程師吳甘沙在一次報(bào)告中透露，所謂“啤酒加尿布”的數(shù)據(jù)挖掘經(jīng)典案例，其實(shí)是Teradata公司一位經(jīng)理編出來(lái)的“故事”，歷史上并沒(méi)有發(fā)生過(guò)。即使有這個(gè)案例，也不說(shuō)明大數(shù)據(jù)分析本身有什么神奇，大數(shù)據(jù)中看起來(lái)毫不相關(guān)的兩件事同時(shí)或相繼出現(xiàn)的現(xiàn)象比比皆是，關(guān)鍵是人的分析推理找出為什么兩件事物同時(shí)或相繼出現(xiàn)，找對(duì)了理由才是新知識(shí)或新發(fā)現(xiàn)的規(guī)律，相關(guān)性本身并沒(méi)有多大價(jià)值。

有一個(gè)家喻戶曉的寓言可以從一個(gè)角度說(shuō)明大數(shù)據(jù)的價(jià)值：一位老農(nóng)民臨終前告訴他的3個(gè)兒子，他在他家的地中埋藏了一罐金子，但沒(méi)有講埋在哪里。

他的兒子們把他家所有的地都深挖了一遍，沒(méi)有挖到金子，但由于深挖了土地，從此莊稼收成特別好。數(shù)據(jù)收集、分析的能力提高了，即使沒(méi)有發(fā)現(xiàn)什么普適的規(guī)律或令人完全想不到的新知識(shí)，大數(shù)據(jù)的價(jià)值也已逐步體現(xiàn)。

3.2 大數(shù)據(jù)的力量來(lái)自“大成智慧”

每一種數(shù)據(jù)來(lái)源都有一定的局限性和片面性，只有融合、集成各方面的原始數(shù)據(jù)，才能反映事物的全貌。事物的本質(zhì)和規(guī)律隱藏在各種原始數(shù)據(jù)的相互關(guān)聯(lián)之中。不同的數(shù)據(jù)可能描述同一實(shí)體，但角度不同。對(duì)同一個(gè)問(wèn)題，不同的數(shù)據(jù)能提供互補(bǔ)信息，可對(duì)問(wèn)題有更深入的理解。因此在大數(shù)據(jù)分析中，匯集盡量多種來(lái)源的數(shù)據(jù)是關(guān)鍵。

數(shù)據(jù)科學(xué)是數(shù)學(xué)(統(tǒng)計(jì)、代數(shù)、拓?fù)涞?、計(jì)算機(jī)科學(xué)、基礎(chǔ)科學(xué)和各種應(yīng)用科學(xué)融合的科學(xué)，類似錢學(xué)森先生提出的“大成智慧學(xué)”。錢老指出：“必集大成，才能得智慧”。大數(shù)據(jù)能不能出智慧，關(guān)鍵在于對(duì)多種數(shù)據(jù)源的集成和融合。IEEE計(jì)算機(jī)學(xué)會(huì)最近發(fā)布了2014年的計(jì)算機(jī)技術(shù)發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告，重點(diǎn)強(qiáng)調(diào)“無(wú)縫智慧(seamless intelligence)”。發(fā)展大數(shù)據(jù)的目標(biāo)就是要獲得協(xié)同融合的“無(wú)縫智慧”。單靠一種數(shù)據(jù)源，即使數(shù)據(jù)規(guī)模很大，也可能出現(xiàn)“瞎子摸象”一樣的片面性。數(shù)據(jù)的開放共享不是錦上添花的工作，而是決定大數(shù)據(jù)成敗的必要前提。

大數(shù)據(jù)研究和應(yīng)用要改變過(guò)去各部門和各學(xué)科相互分割、獨(dú)立發(fā)展的傳統(tǒng)思路，重點(diǎn)不是支持單項(xiàng)技術(shù)和單個(gè)方法的發(fā)展，而是強(qiáng)調(diào)不同部門、不同學(xué)科的協(xié)作。數(shù)據(jù)科學(xué)不是垂直的“煙囪”，而是像環(huán)境、能源科學(xué)一樣的橫向集成科學(xué)。

3.3 大數(shù)據(jù)遠(yuǎn)景燦爛，但近期不能期望太高

交流電問(wèn)世時(shí)主要用作照明，根本想象不到今天無(wú)處不在的應(yīng)用。大數(shù)據(jù)技術(shù)也一樣，將來(lái)一定會(huì)產(chǎn)生許多現(xiàn)在想不到的應(yīng)用。我們不必?fù)?dān)心大數(shù)據(jù)的未來(lái)，但近期要非常務(wù)實(shí)地工作。人們往往對(duì)近期的發(fā)展估計(jì)過(guò)高，而對(duì)長(zhǎng)期的發(fā)展估計(jì)不足。Gartner公司預(yù)測(cè)，大數(shù)據(jù)技術(shù)要在5到10年后才會(huì)成為較普遍采用的主流技術(shù)，對(duì)發(fā)展大數(shù)據(jù)技術(shù)要有足夠的耐心。

大數(shù)據(jù)與其他信息技術(shù)一樣，在一段時(shí)間內(nèi)遵循指數(shù)發(fā)展規(guī)律。指數(shù)發(fā)展的特點(diǎn)是，從一段歷史時(shí)期衡量(至少30年)，前期發(fā)展比較慢，經(jīng)過(guò)相當(dāng)長(zhǎng)時(shí)間(可能需要20年以上)的積累，會(huì)出現(xiàn)一個(gè)拐點(diǎn)，過(guò)了拐點(diǎn)以后，就會(huì)出現(xiàn)爆炸式的增長(zhǎng)。但任何技術(shù)都不會(huì)永遠(yuǎn)保持“指數(shù)性”增長(zhǎng)，一般而言，高技術(shù)發(fā)展遵循Gartner公司描述的技術(shù)成熟度曲線(hype cycle)，最后可能進(jìn)入良性發(fā)展的穩(wěn)定狀態(tài)或者走向消亡。

需要采用大數(shù)據(jù)技術(shù)來(lái)解決的問(wèn)題往往都是十分復(fù)雜的問(wèn)題，比如社會(huì)計(jì)算、生命科學(xué)、腦科學(xué)等，這些問(wèn)題絕不是幾代人的努力就可以解決的。宇宙經(jīng)過(guò)百億年的演化，才出現(xiàn)生物和人類，其復(fù)雜和巧妙堪稱絕倫，不要指望在我們這一代人手中就能徹底揭開其奧妙。展望數(shù)百萬(wàn)年甚至更長(zhǎng)遠(yuǎn)的未來(lái)，大數(shù)據(jù)技術(shù)只是科學(xué)技術(shù)發(fā)展長(zhǎng)河中的一朵浪花，對(duì)10到20年大數(shù)據(jù)研究可能取得的科學(xué)成就不能抱有不切實(shí)際的幻想。

4.從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn)

大數(shù)據(jù)技術(shù)和人類探索復(fù)雜性的努力有密切關(guān)系。20世紀(jì)70年代，新三論(耗散結(jié)構(gòu)論、協(xié)同論、突變論)的興起對(duì)幾百年來(lái)貫穿科學(xué)技術(shù)研究的還原論發(fā)起了挑戰(zhàn)。1984年蓋爾曼等3位諾貝爾獎(jiǎng)得主成立以研究復(fù)雜性為主的圣菲研究所，提出超越還原論的口號(hào)，在科技界掀起了一場(chǎng)復(fù)雜性科學(xué)運(yùn)動(dòng)。雖然雷聲很大，但30年來(lái)并未取得預(yù)期的效果，其原因之一可能是當(dāng)時(shí)還沒(méi)有出現(xiàn)解決復(fù)雜性的技術(shù)。

集成電路、計(jì)算機(jī)與通信技術(shù)的發(fā)展大大增強(qiáng)了人類研究和處理復(fù)雜問(wèn)題的能力。大數(shù)據(jù)技術(shù)將復(fù)雜性科學(xué)的新思想發(fā)揚(yáng)光大，可能使復(fù)雜性科學(xué)得以落地。復(fù)雜性科學(xué)是大數(shù)據(jù)技術(shù)的科學(xué)基礎(chǔ)，大數(shù)據(jù)方法可以看作復(fù)雜性科學(xué)的技術(shù)實(shí)現(xiàn)。大數(shù)據(jù)方法為還原論與整體論的辯證統(tǒng)一提供了技術(shù)實(shí)現(xiàn)途徑。大數(shù)據(jù)研究要從復(fù)雜性研究中吸取營(yíng)養(yǎng)，從事數(shù)據(jù)科學(xué)研究的學(xué)者不但要了解20世紀(jì)的“新三論”，可能還要學(xué)習(xí)與超循環(huán)、混沌、分形和元胞自動(dòng)機(jī)等理論有關(guān)的知識(shí)，擴(kuò)大自己的視野，加深對(duì)大數(shù)據(jù)機(jī)理的理解。

大數(shù)據(jù)技術(shù)還不成熟，面對(duì)海量、異構(gòu)、動(dòng)態(tài)變化的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理和分析技術(shù)難以應(yīng)對(duì)，現(xiàn)有的數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的效率較低，成本和能耗較大，而且難以擴(kuò)展。這些挑戰(zhàn)大多來(lái)自數(shù)據(jù)本身的復(fù)雜性、計(jì)算的復(fù)雜性和信息系統(tǒng)的復(fù)雜性。

4.1 數(shù)據(jù)復(fù)雜性引起的挑戰(zhàn)

圖文檢索、主題發(fā)現(xiàn)、語(yǔ)義分析、情感分析等數(shù)據(jù)分析工作十分困難，其原因是大數(shù)據(jù)涉及復(fù)雜的類型、復(fù)雜的結(jié)構(gòu)和復(fù)雜的模式，數(shù)據(jù)本身具有很高的復(fù)雜性。目前，人們對(duì)大數(shù)據(jù)背后的物理意義缺乏理解，對(duì)數(shù)據(jù)之間的關(guān)聯(lián)規(guī)律認(rèn)識(shí)不足，對(duì)大數(shù)據(jù)的復(fù)雜性和計(jì)算復(fù)雜性的內(nèi)在聯(lián)系也缺乏深刻理解，領(lǐng)域知識(shí)的缺乏制約了人們對(duì)大數(shù)據(jù)模型的發(fā)現(xiàn)和高效計(jì)算方法的設(shè)計(jì)。形式化或定量化地描述大數(shù)據(jù)復(fù)雜性的本質(zhì)特征及度量指標(biāo)，需要深入研究數(shù)據(jù)復(fù)雜性的內(nèi)在機(jī)理。人腦的復(fù)雜性主要體現(xiàn)在千萬(wàn)億級(jí)的樹突和軸突的鏈接，大數(shù)據(jù)的復(fù)雜性主要也體現(xiàn)在數(shù)據(jù)之間的相互關(guān)聯(lián)。理解數(shù)據(jù)之間關(guān)聯(lián)的奧秘可能是揭示微觀到宏觀“涌現(xiàn)”規(guī)律的突破口。大數(shù)據(jù)復(fù)雜性規(guī)律的研究有助于理解大數(shù)據(jù)復(fù)雜模式的本質(zhì)特征和生成機(jī)理，從而簡(jiǎn)化大數(shù)據(jù)的表征，獲取更好的知識(shí)抽象。為此，需要建立多模態(tài)關(guān)聯(lián)關(guān)系下的數(shù)據(jù)分布理論和模型，理清數(shù)據(jù)復(fù)雜度和計(jì)算復(fù)雜度之間的內(nèi)在聯(lián)系，奠定大數(shù)據(jù)計(jì)算的理論基礎(chǔ)。

4.2 計(jì)算復(fù)雜性引起的挑戰(zhàn)

大數(shù)據(jù)計(jì)算不能像處理小樣本數(shù)據(jù)集那樣做全局?jǐn)?shù)據(jù)的統(tǒng)計(jì)分析和迭代計(jì)算，在分析大數(shù)據(jù)時(shí)，需要重新審視和研究它的可計(jì)算性、計(jì)算復(fù)雜性和求解算法。大數(shù)據(jù)樣本量巨大，內(nèi)在關(guān)聯(lián)密切而復(fù)雜，價(jià)值密度分布極不均衡，這些特征對(duì)建立大數(shù)據(jù)計(jì)算范式提出了挑戰(zhàn)。對(duì)于PB級(jí)的數(shù)據(jù)，即使只有線性復(fù)雜性的計(jì)算也難以實(shí)現(xiàn)，而且，由于數(shù)據(jù)分布的稀疏性，可能做了許多無(wú)效計(jì)算。

傳統(tǒng)的計(jì)算復(fù)雜度是指某個(gè)問(wèn)題求解時(shí)需要的時(shí)間空間與問(wèn)題規(guī)模的函數(shù)關(guān)系，所謂具有多項(xiàng)式復(fù)雜性的算法是指當(dāng)問(wèn)題的規(guī)模增大時(shí)，計(jì)算時(shí)間和空間的增長(zhǎng)速度在可容忍的范圍內(nèi)。傳統(tǒng)科學(xué)計(jì)算關(guān)注的重點(diǎn)是，針對(duì)給定規(guī)模的問(wèn)題，如何“算得快”。而在大數(shù)據(jù)應(yīng)用中，尤其是流式計(jì)算中，往往對(duì)數(shù)據(jù)處理和分析的時(shí)間、空間有明確限制，比如網(wǎng)絡(luò)服務(wù)如果回應(yīng)時(shí)間超過(guò)幾秒甚至幾毫秒，就會(huì)丟失許多用戶。大數(shù)據(jù)應(yīng)用本質(zhì)上是在給定的時(shí)間、空間限制下，如何“算得多”。從“算得快”到“算得多”，考慮計(jì)算復(fù)雜性的思維邏輯有很大的轉(zhuǎn)變。所謂“算得多”并不是計(jì)算的數(shù)據(jù)量越大越好，需要探索從足夠多的數(shù)據(jù)，到剛剛好的數(shù)據(jù)，再到有價(jià)值的數(shù)據(jù)的按需約簡(jiǎn)方法。

基于大數(shù)據(jù)求解困難問(wèn)題的一條思路是放棄通用解，針對(duì)特殊的限制條件求具體問(wèn)題的解。人類的認(rèn)知問(wèn)題一般都是NP難問(wèn)題，但只要數(shù)據(jù)充分多，在限制條件下可以找到十分滿意的解，近幾年自動(dòng)駕駛汽車取得重大進(jìn)展就是很好的案例。為了降低計(jì)算量，需要研究基于自舉和采樣的局部計(jì)算和近似方法，提出不依賴于全量數(shù)據(jù)的新型算法理論，研究適應(yīng)大數(shù)據(jù)的非確定性算法等理論。

4.3 系統(tǒng)復(fù)雜性引起的挑戰(zhàn)

大數(shù)據(jù)對(duì)計(jì)算機(jī)系統(tǒng)的運(yùn)行效率和能耗提出了苛刻要求，大數(shù)據(jù)處理系統(tǒng)的效能評(píng)價(jià)與優(yōu)化問(wèn)題具有挑戰(zhàn)性，不但要求理清大數(shù)據(jù)的計(jì)算復(fù)雜性與系統(tǒng)效率、能耗間的關(guān)系，還要綜合度量系統(tǒng)的吞吐率、并行處理能力、作業(yè)計(jì)算精度、作業(yè)單位能耗等多種效能因素。針對(duì)大數(shù)據(jù)的價(jià)值稀疏性和訪問(wèn)弱局部性的特點(diǎn)，需要研究大數(shù)據(jù)的分布式存儲(chǔ)和處理架構(gòu)。

大數(shù)據(jù)應(yīng)用涉及幾乎所有的領(lǐng)域，大數(shù)據(jù)的優(yōu)勢(shì)是能在長(zhǎng)尾應(yīng)用中發(fā)現(xiàn)稀疏而珍貴的價(jià)值，但一種優(yōu)化的計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)很難適應(yīng)各種不同的需求，碎片化的應(yīng)用大大增加了信息系統(tǒng)的復(fù)雜性，像昆蟲種類一樣多(500多萬(wàn)種)的大數(shù)據(jù)和物聯(lián)網(wǎng)應(yīng)用如何形成手機(jī)一樣的巨大市場(chǎng)，這就是所謂“昆蟲綱悖論”[6]。為了化解計(jì)算機(jī)系統(tǒng)的復(fù)雜性，需要研究異構(gòu)計(jì)算系統(tǒng)和可塑計(jì)算技術(shù)。

大數(shù)據(jù)應(yīng)用中，計(jì)算機(jī)系統(tǒng)的負(fù)載發(fā)生了本質(zhì)性變化，計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)需要革命性的重構(gòu)。信息系統(tǒng)需要從數(shù)據(jù)圍著處理器轉(zhuǎn)改變?yōu)樘幚砟芰鴶?shù)據(jù)轉(zhuǎn)，關(guān)注的重點(diǎn)不是數(shù)據(jù)加工，而是數(shù)據(jù)的搬運(yùn);系統(tǒng)結(jié)構(gòu)設(shè)計(jì)的出發(fā)點(diǎn)要從重視單任務(wù)的完成時(shí)間轉(zhuǎn)變到提高系統(tǒng)吞吐率和并行處理能力，并發(fā)執(zhí)行的規(guī)模要提高到10億級(jí)以上。構(gòu)建以數(shù)據(jù)為中心的計(jì)算系統(tǒng)的基本思路是從根本上消除不必要的數(shù)據(jù)流動(dòng)，必要的數(shù)據(jù)搬運(yùn)也應(yīng)由“大象搬木頭”轉(zhuǎn)變?yōu)?ldquo;螞蟻搬大米”。

5.發(fā)展大數(shù)據(jù)應(yīng)避免的誤區(qū)

5.1 不要一味追求“數(shù)據(jù)規(guī)模大”

大數(shù)據(jù)主要難點(diǎn)不是數(shù)據(jù)量大，而是數(shù)據(jù)類型多樣、要求及時(shí)回應(yīng)和原始數(shù)據(jù)真假難辨?，F(xiàn)有數(shù)據(jù)庫(kù)軟件解決不了非結(jié)構(gòu)化數(shù)據(jù)，要重視數(shù)據(jù)融合、數(shù)據(jù)格式的標(biāo)準(zhǔn)化和數(shù)據(jù)的互操作。采集的數(shù)據(jù)往往質(zhì)量不高是大數(shù)據(jù)的特點(diǎn)之一，但盡可能提高原始數(shù)據(jù)的質(zhì)量仍然值得重視。腦科學(xué)研究的最大問(wèn)題就是采集的數(shù)據(jù)可信度差，基于可信度很差的數(shù)據(jù)難以分析出有價(jià)值的結(jié)果。

一味追求數(shù)據(jù)規(guī)模大不僅會(huì)造成浪費(fèi)，而且效果未必很好。多個(gè)來(lái)源的小數(shù)據(jù)的集成融合可能挖掘出單一來(lái)源大數(shù)據(jù)得不到的大價(jià)值。應(yīng)多在數(shù)據(jù)的融合技術(shù)上下功夫，重視數(shù)據(jù)的開放與共享。所謂數(shù)據(jù)規(guī)模大與應(yīng)用領(lǐng)域有密切關(guān)系，有些領(lǐng)域幾個(gè)PB的數(shù)據(jù)未必算大，有些領(lǐng)域可能幾十TB已經(jīng)是很大的規(guī)模。

發(fā)展大數(shù)據(jù)不能無(wú)止境地追求“更大、更多、更快”，要走低成本、低能耗、惠及大眾、公正法治的良性發(fā)展道路，要像現(xiàn)在治理環(huán)境污染一樣，及早關(guān)注大數(shù)據(jù)可能帶來(lái)的“污染”和侵犯隱私等各種弊端。

5.2 不要“技術(shù)驅(qū)動(dòng)”，要“應(yīng)用為先”

新的信息技術(shù)層出不窮，信息領(lǐng)域不斷冒出新概念、新名詞，估計(jì)繼“大數(shù)據(jù)”以后，“認(rèn)知計(jì)算”、“可穿戴設(shè)備”、“機(jī)器人”等新技術(shù)又會(huì)進(jìn)入炒作高峰。我們習(xí)慣于跟隨國(guó)外的熱潮，往往不自覺(jué)地跟著技術(shù)潮流走，最容易走上“技術(shù)驅(qū)動(dòng)”的道路。實(shí)際上發(fā)展信息技術(shù)的目的是為人服務(wù)，檢驗(yàn)一切技術(shù)的唯一標(biāo)準(zhǔn)是應(yīng)用。我國(guó)發(fā)展大數(shù)據(jù)產(chǎn)業(yè)一定要堅(jiān)持“應(yīng)用為先”的發(fā)展戰(zhàn)略，堅(jiān)持應(yīng)用牽引的技術(shù)路線。技術(shù)有限，應(yīng)用無(wú)限。各地發(fā)展云計(jì)算和大數(shù)據(jù)，一定要通過(guò)政策和各種措施調(diào)動(dòng)應(yīng)用部門和創(chuàng)新企業(yè)的積極性，通過(guò)跨界的組合創(chuàng)新開拓新的應(yīng)用，從應(yīng)用中找出路。

5.3 不能拋棄“小數(shù)據(jù)”方法

流行的“大數(shù)據(jù)”定義是：無(wú)法通過(guò)目前主流軟件工具在合理時(shí)間內(nèi)采集、存儲(chǔ)、處理的數(shù)據(jù)集。這是用不能勝任的技術(shù)定義問(wèn)題，可能導(dǎo)致認(rèn)識(shí)的誤區(qū)。按照這種定義，人們可能只會(huì)重視目前解決不了的問(wèn)題，如同走路的人想踩著自己身前的影子。其實(shí)，目前各行各業(yè)碰到的數(shù)據(jù)處理多數(shù)還是“小數(shù)據(jù)”問(wèn)題。我們應(yīng)重視實(shí)際碰到的問(wèn)題，不管是大數(shù)據(jù)還是小數(shù)據(jù)。

統(tǒng)計(jì)學(xué)家們花了200多年，總結(jié)出認(rèn)知數(shù)據(jù)過(guò)程中的種種陷阱，這些陷阱不會(huì)隨著數(shù)據(jù)量的增大而自動(dòng)填平。大數(shù)據(jù)中有大量的小數(shù)據(jù)問(wèn)題，大數(shù)據(jù)采集同樣會(huì)犯小數(shù)據(jù)采集一樣的統(tǒng)計(jì)偏差。Google公司的流感預(yù)測(cè)這兩年失靈，就是由于搜索推薦等人為的干預(yù)造成統(tǒng)計(jì)誤差。

大數(shù)據(jù)界流行一種看法：大數(shù)據(jù)不需要分析因果關(guān)系、不需要采樣、不需要精確數(shù)據(jù)。這種觀念不能絕對(duì)化，實(shí)際工作中要邏輯演繹和歸納相結(jié)合、白盒與黑盒研究相結(jié)合、大數(shù)據(jù)方法與小數(shù)據(jù)方法相結(jié)合。

5.4 要高度關(guān)注構(gòu)建大數(shù)據(jù)平臺(tái)的成本

目前全國(guó)各地都在建設(shè)大數(shù)據(jù)中心，呂梁山下都建立了容量達(dá)2 PB以上的數(shù)據(jù)處理中心，許多城市公安部門要求存儲(chǔ)3個(gè)月以上的高清監(jiān)控錄像。這些系統(tǒng)的成本都非常高。數(shù)據(jù)挖掘的價(jià)值是用成本換來(lái)的，不能不計(jì)成本，盲目建設(shè)大數(shù)據(jù)系統(tǒng)。什么數(shù)據(jù)需要保存，要保存多少時(shí)間，應(yīng)當(dāng)根據(jù)可能的價(jià)值和所需的成本來(lái)決定。大數(shù)據(jù)系統(tǒng)技術(shù)還在研究之中，美國(guó)的E級(jí)超級(jí)計(jì)算機(jī)系統(tǒng)要求能耗降低1000倍，計(jì)劃到2024年才能研制出來(lái)，用現(xiàn)在的技術(shù)構(gòu)建的巨型系統(tǒng)能耗極高。

來(lái)源：微頭條