2016年5月12日-14日，第七屆中國(guó)數(shù)據(jù)庫技術(shù)大會(huì)(DTCC 2016)在北京國(guó)際會(huì)議中心拉開帷幕。作為國(guó)內(nèi)數(shù)據(jù)庫與大數(shù)據(jù)領(lǐng)域最大規(guī)模的技術(shù)盛宴，在為期三天的會(huì)議中，大會(huì)將圍繞MySQL、NoSQL、Oracle、緩存技術(shù)、云端數(shù)據(jù)庫、智能數(shù)據(jù)平臺(tái)、大數(shù)據(jù)安全、數(shù)據(jù)治理、大數(shù)據(jù)和開源、大數(shù)據(jù)創(chuàng)業(yè)、大數(shù)據(jù)深度學(xué)習(xí)等領(lǐng)域的前瞻性熱點(diǎn)話題與技術(shù)展開深入探討，并邀請(qǐng)一大批國(guó)內(nèi)頂尖的技術(shù)專家來進(jìn)行分享，以滿足廣大從業(yè)人士和行業(yè)用戶的迫切需要。

本屆是大會(huì)創(chuàng)辦以來，規(guī)模最大，參會(huì)人次、參展合作伙伴最多的一次盛會(huì)，云集了來自五湖四海的5000余名IT精英，相聚在這里，共話數(shù)據(jù)庫技術(shù)發(fā)展潮流，共赴大數(shù)據(jù)浪潮之巔。今天，來到了大會(huì)的第二天，主題為“聚焦大數(shù)據(jù)+引領(lǐng)行業(yè)變革”,中國(guó)人民大學(xué)信息學(xué)院教授孟小峰進(jìn)行了題為《大數(shù)據(jù)管理系統(tǒng)的發(fā)展與機(jī)遇》主題演講。

大數(shù)據(jù)的提出

計(jì)算機(jī)未來15年內(nèi)寫作90%的新聞，未來5年獲普利策獎(jiǎng)。--克里斯蒂安·哈蒙德

孟老師舉例表示，在已故的Jim Gray《事務(wù)處理》一書中提到：6000年以前，蘇美爾人就使用了數(shù)據(jù)記錄的方法，已知最早的數(shù)據(jù)是寫在土塊上，上面記錄著皇家稅收、土地、谷物、牲畜、奴隸和黃金等情況。19世紀(jì)后期，打孔卡片出現(xiàn)，用于1890年美國(guó)人口普查，用卡片取代土塊，使得系統(tǒng)可以每秒查找或更新一個(gè)“土塊”(卡片)?？梢?，用數(shù)據(jù)記錄社會(huì)由來已久，而數(shù)據(jù)的多少和系統(tǒng)的能力是與當(dāng)時(shí)的社會(huì)結(jié)構(gòu)的復(fù)雜程度和生產(chǎn)力水平密切相關(guān)的。

數(shù)據(jù)的來源來自兩個(gè)“社會(huì)”,物理社會(huì)和網(wǎng)絡(luò)社會(huì)，從現(xiàn)實(shí)社會(huì)發(fā)展到虛擬社會(huì)，互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)的發(fā)展讓數(shù)據(jù)量有了質(zhì)的提高。同時(shí)，數(shù)據(jù)產(chǎn)生的方式也在發(fā)生轉(zhuǎn)變。具體分三類：

運(yùn)營(yíng)式系統(tǒng)--數(shù)據(jù)源是被動(dòng)產(chǎn)生：數(shù)據(jù)規(guī)范，有秩序，強(qiáng)調(diào)數(shù)據(jù)的一致;

互聯(lián)網(wǎng)系統(tǒng)--數(shù)據(jù)源是主動(dòng)產(chǎn)生：數(shù)據(jù)結(jié)構(gòu)復(fù)雜，無秩序，不強(qiáng)調(diào)數(shù)據(jù)的一致性或只強(qiáng)調(diào)弱一致性;

感知式系統(tǒng)--數(shù)據(jù)源是自動(dòng)產(chǎn)生：數(shù)據(jù)呈現(xiàn)多源異構(gòu)、分布廣泛、動(dòng)態(tài)演化等。

孟老師總結(jié)表示，大數(shù)據(jù)的理解可以總結(jié)為更細(xì)(數(shù)據(jù)記錄的“粒度”更加細(xì)致，由粗粒度到細(xì)粒度的轉(zhuǎn)變、由企業(yè)信息到個(gè)人信息轉(zhuǎn)變)、更廣(數(shù)據(jù)記錄的“廣度”更為寬泛，多源異構(gòu)的數(shù)據(jù)源普遍存在、數(shù)據(jù)的關(guān)聯(lián)、交叉、融合更為迫切)、更密(數(shù)據(jù)記錄的“密度”連續(xù)不斷，由靜態(tài)描述到動(dòng)態(tài)描述的轉(zhuǎn)變、由簡(jiǎn)單分析到復(fù)雜分析的轉(zhuǎn)變)，傳統(tǒng)的信息系統(tǒng)是先有模式后有數(shù)據(jù)。

大數(shù)據(jù)的管理

由模式到數(shù)據(jù)，數(shù)據(jù)庫能幫助普通用戶組織、存儲(chǔ)、查詢數(shù)據(jù)，并提供已知問題的簡(jiǎn)單分析;由數(shù)據(jù)到知識(shí)，數(shù)據(jù)湖能幫助普通用戶收集數(shù)據(jù)、發(fā)現(xiàn)關(guān)聯(lián)關(guān)系，并提供未知問題的復(fù)雜分析。

據(jù)孟老師介紹，大數(shù)據(jù)管理基本問題包括大數(shù)據(jù)管理理論和方法 大數(shù)據(jù)集成：如大數(shù)據(jù)分析、大數(shù)據(jù)計(jì)算、大數(shù)據(jù)可視化、大數(shù)據(jù)隱私管理;

大數(shù)據(jù)管理系統(tǒng)和技術(shù)包括如，大數(shù)據(jù)編程語言、大數(shù)據(jù)編譯技術(shù)、大數(shù)據(jù)生態(tài)系統(tǒng)(分布、眾包、實(shí)時(shí)等);

面向新型存儲(chǔ)器件的大數(shù)據(jù)管理包括如，新型體系結(jié)構(gòu)、高效存儲(chǔ)系統(tǒng)(齒輪式存儲(chǔ)I/O=》火箭式存儲(chǔ))、高效節(jié)能;

大數(shù)據(jù)應(yīng)用“三要素”

“大數(shù)據(jù)”關(guān)聯(lián)和融合凝聚成“大知識(shí)”,促成開發(fā)“大應(yīng)用”

針對(duì)大數(shù)據(jù)隱私管理的問題上，孟老師表示：“大數(shù)據(jù)隱私管理的總體目標(biāo)是基于數(shù)據(jù)管理理念和方法開展相關(guān)研究，具體包括如下三點(diǎn)：為大數(shù)據(jù)的應(yīng)用提供技術(shù)支撐、為那些懸而未決的隱私挑戰(zhàn)尋找方法、給公開數(shù)據(jù)的政府、企業(yè)和個(gè)人一個(gè)定心丸，保證國(guó)家安全底線。”

大數(shù)據(jù)的生態(tài)系統(tǒng)

數(shù)據(jù)處理模式包括：批處理模式、流處理模式、混合處理模式。

關(guān)于大數(shù)據(jù)的四大思考 今天做的還遠(yuǎn)遠(yuǎn)不夠

思考一：大數(shù)據(jù)的局限性，過去幾十年人類可以量化的數(shù)據(jù)增長(zhǎng)確實(shí)驚人，但人類無法量化的“數(shù)據(jù)”更為龐大，全世界的數(shù)據(jù)加起來也無法讓機(jī)器理解愛、悲傷或恐懼。

思考二：新的產(chǎn)業(yè)尚未出現(xiàn)

思考三：如何不被大數(shù)據(jù)誤導(dǎo)

思考四：AI?VR?AR?DB?

寫在最后，孟老師引用了陳寅恪先生的話作為總結(jié)：“ 一時(shí)代之學(xué)術(shù)，必有其新材料與新問題。取用此材料，以研求問題，則為此時(shí)代學(xué)術(shù)之新潮流。治學(xué)之士，得預(yù)于此潮流者，謂之預(yù)流(借用佛教初果之名)。其未得預(yù)者，謂之未入流。”

對(duì)今天的信息技術(shù)而言，“新材料”即為大數(shù)據(jù)，而“新問題”則是產(chǎn)生于“新材料”之上的新的應(yīng)用需求。

來源： it168網(wǎng)站