【金猿人物展】星環(huán)科技孫元浩：大數(shù)據(jù)技術(shù)將是企業(yè)未來的核心競爭力

金猿星環(huán)科技大數(shù)據(jù)技術(shù)

原創(chuàng) 孫元浩 | 2020-12-22 19:22

【數(shù)據(jù)猿導(dǎo)讀】本文由星環(huán)科技創(chuàng)始人&CEO孫元浩撰寫并投遞參與“數(shù)據(jù)猿年度金猿策劃活動——2020大數(shù)據(jù)產(chǎn)業(yè)趨勢人物榜單及獎項”評選。

【金猿人物展】星環(huán)科技孫元浩：大數(shù)據(jù)技術(shù)將是企業(yè)未來的核心競爭力

2020年是繼往開來、里程碑式的一年，在這個十三五收官和十四五開啟之年，我們國家經(jīng)受住了新冠疫情的考驗。其中，少不了大數(shù)據(jù)對城市疫情防控工作做出的有力支撐和保障。年初，全國各地紛紛上線了健康碼，利用大數(shù)據(jù)技術(shù)第一時間判斷個人的健康狀況，發(fā)現(xiàn)疫情傳染源頭及追溯病情高發(fā)傳染地點，幫助政府部門對各地進行精細化的疫情防控。最近，如上海的隨申碼還上線了“親屬隨申碼”的功能，幫助老人和小孩申領(lǐng)健康碼，幫助部分老人跨越數(shù)字鴻溝。在疫情常態(tài)化的今天，健康碼已不再只負責健康狀態(tài)的查詢和結(jié)果展示，在公共出行、醫(yī)保、借書等各類公共服務(wù)和辦事通道方面已經(jīng)開始拓展及延伸。

2020年初，國家發(fā)改委多個部委提出了“新基建”的概念。中國在2001年加入WTO之后，其經(jīng)濟增長主要來自投資、出口、消費，到2010年，中國國際貿(mào)易占到世界GDP的60%左右。隨著中美之間進入戰(zhàn)略競爭階段，意味著我們需要有更多的經(jīng)濟，意味著我們要專注于國內(nèi)經(jīng)濟的內(nèi)循環(huán)。在這個百年未有之大變局的情況下，全國各地政府積極加大新基建的建設(shè)，努力推動整個經(jīng)濟進入下一步發(fā)展周期。

關(guān)于新基建建設(shè)，一方面是信息基礎(chǔ)設(shè)施建設(shè)，包括機房、大數(shù)據(jù)軟件、云等等；另一方面是融合基礎(chǔ)設(shè)施建設(shè)，把新一代的新技術(shù)融合到各個行業(yè)當中去，加速他們的轉(zhuǎn)型；此外還有創(chuàng)新基礎(chǔ)設(shè)施，主要是一些基礎(chǔ)的創(chuàng)新，偏重在核心技術(shù)方面的研究。我們可以看到，大數(shù)據(jù)技術(shù)實際上在各個行業(yè)當中都在不斷融合，在新基建處于核心位置，加速各行業(yè)和企業(yè)的數(shù)字化轉(zhuǎn)型。通過使用大數(shù)據(jù)技術(shù)、建設(shè)大數(shù)據(jù)平臺，政府、交通、能源、制造等各行業(yè)均實現(xiàn)了數(shù)據(jù)的沉淀和匯集，挖掘了數(shù)據(jù)的潛在價值，最終使用大數(shù)據(jù)技術(shù)提高了自身的核心競爭力，實現(xiàn)了降本增效。

展望2021年，我認為大數(shù)據(jù)行業(yè)將會迎來三大趨勢。

趨勢一：多模型的大數(shù)據(jù)平臺

第一個趨勢是隨著大數(shù)據(jù)技術(shù)的演變，未來的大數(shù)據(jù)平臺將需要具備多模型的特性。過去處理數(shù)據(jù)使用的是單機的關(guān)系型數(shù)據(jù)庫，隨著數(shù)據(jù)量的變大，大概在11年、12年的時候混合架構(gòu)被提出，因為單個關(guān)系數(shù)據(jù)庫已經(jīng)無法處理日益增大的數(shù)據(jù)，就需要單機的關(guān)系數(shù)據(jù)庫加一個MPP的架構(gòu)，再加一個Hadoop的架構(gòu)。Hadoop用來做百TP以上，MPP用來做幾至十幾TB的數(shù)據(jù)集，小數(shù)量放在關(guān)系型數(shù)據(jù)庫或內(nèi)存數(shù)據(jù)庫中。這種架構(gòu)被稱為混合架構(gòu)，也被稱為第一代，它使用的還是用傳統(tǒng)技術(shù)的拼接。

到了大概09年之后，大家認為應(yīng)該由一個引擎來處理所有的數(shù)據(jù)，不應(yīng)該用混合架構(gòu)。09年到15年這六年的時間，大家努力的目標就是用一個SQL引擎來處理不同的數(shù)據(jù)，用一個數(shù)據(jù)庫來替代以前的多個混合架構(gòu)的、不同的關(guān)系型數(shù)據(jù)庫。這個我們稱為第二階段，這個階段我們也提出一站式大數(shù)據(jù)平臺的概念，我們剛剛創(chuàng)業(yè)的時候就提了這個理念，需要一個SQL引擎來解決不同數(shù)據(jù)量的數(shù)據(jù)問題，而且在每個數(shù)據(jù)量級上面效率都很高，比傳統(tǒng)數(shù)據(jù)庫都要快，甚至快一個數(shù)量級。這個過程大概在15年塵埃落定，大家已經(jīng)認識到有單一引擎可以處理這個問題了，可以解決并替代混合架構(gòu)了。當然今天國內(nèi)還有很多客戶沒有采用一站式架構(gòu)的，不是星環(huán)的客戶大部分都采用混合架構(gòu)。

到了第三階段我們又看到，除了關(guān)系型數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)處理以外，還有很多非結(jié)構(gòu)化數(shù)據(jù)，像圖數(shù)據(jù)、文檔數(shù)據(jù)、自然語言、文本。過去大家采用的是多種數(shù)據(jù)庫技術(shù)，有用Neo4j做圖數(shù)據(jù)庫的，也有用Elastic做搜索引擎的，還有用MongoDB做文檔數(shù)據(jù)庫的，用Hadoop做文件存儲的，用MPP來做機構(gòu)化數(shù)據(jù)處理的，這種就是很多種不同數(shù)據(jù)庫組合?，F(xiàn)在一個明顯的趨勢，是能不能用一個平臺來處理多種類型的數(shù)據(jù)，特別當大數(shù)據(jù)應(yīng)用到多個行業(yè)中去的時候。有傳感器數(shù)據(jù)，有影像數(shù)據(jù)，也有結(jié)構(gòu)化的數(shù)據(jù)，在醫(yī)療行業(yè)更是如此，數(shù)據(jù)類型更多。

現(xiàn)在一個新的趨勢，是用一個統(tǒng)一的大數(shù)據(jù)平臺，有核心的存儲平臺，有統(tǒng)一的計算引擎，有統(tǒng)一的接口。但它的存儲模式是不一樣的，可以支持文本，也可以支持結(jié)構(gòu)化，也可以支持對象存儲。這樣可以極大的簡化大數(shù)據(jù)平臺本身的使用、運維，還有應(yīng)用的開發(fā)，能夠加速這個技術(shù)在各個行業(yè)中的應(yīng)用，這個是比較明顯的趨勢。我們當時在2017年提出一個理念，用一個平臺能夠存儲不同數(shù)據(jù)形態(tài)、不同數(shù)據(jù)模型，但上面計算引擎和SQL引擎接口都是一樣的，這樣極大簡化開發(fā)的難度，同時也能夠跨多種數(shù)據(jù)形態(tài)進行互相訪問。現(xiàn)在不難看出這是一個比較明顯的趨勢，不管是我們星環(huán)還是國外的數(shù)據(jù)庫軟件公司都在往這個方向去努力，希望用一個平臺處理不同類型的數(shù)據(jù)。

趨勢二：聯(lián)邦學(xué)習(xí)技術(shù)

第二大趨勢是聯(lián)邦學(xué)習(xí)的技術(shù)。數(shù)據(jù)過去是分散在不同地方的，放在不同的數(shù)據(jù)中心和不同的國家的，因為各個國家都有一些數(shù)據(jù)保護條例，很難把數(shù)據(jù)拿出來。另一類是有些客戶的數(shù)據(jù)量太大，沒辦法放在一個數(shù)據(jù)中心，可能需要放在多個城市、多個地方。還有一種情況是不同的企業(yè)之間要進行數(shù)據(jù)共享，數(shù)據(jù)交換，但是因為數(shù)據(jù)的隱私，網(wǎng)絡(luò)安全法，無法把原始數(shù)據(jù)直接給別人，這也是催生聯(lián)邦學(xué)習(xí)的一個背景原因。

聯(lián)邦學(xué)習(xí)的概念是把機器學(xué)習(xí)的算法分發(fā)到不同的數(shù)據(jù)中心去，讓算法在不同數(shù)據(jù)中心運算，但原始數(shù)據(jù)不會在網(wǎng)絡(luò)上傳輸，確保用戶隱私不會泄露出去，但能返回到需要的結(jié)果。今天聯(lián)邦學(xué)習(xí)已經(jīng)演變到細分的幾個類別。有橫向聯(lián)邦學(xué)習(xí)，在特征趨同的情況夏對不同樣本進行聯(lián)合互補，用更大的樣本數(shù)據(jù)提升現(xiàn)有模型的精度。有縱向聯(lián)邦學(xué)習(xí)，比如同一個人，在樣本趨同的情況下對不同特征進行聯(lián)合互補，用更多的特征數(shù)據(jù)補全對某一客戶樣本的畫像。也有遷移聯(lián)邦學(xué)習(xí)，一類樣本上面統(tǒng)一的模型可以遷移到另外一批上面。但是也有一些不同企業(yè)的數(shù)據(jù)，他們之間可能是互相影響的，這種情況下就需要用個性聯(lián)邦學(xué)習(xí)來做統(tǒng)一的分析。

有了這些技術(shù)的進步，數(shù)據(jù)的共享和交換變成可能，以前大家如果要把數(shù)據(jù)進行實際交換，很可能會觸犯一些法律的底線，但是使用聯(lián)邦學(xué)習(xí)方案可以做到數(shù)據(jù)不出戶，仍然能達到統(tǒng)一分析的結(jié)果。在當今這個大家都把數(shù)據(jù)作為一個生產(chǎn)要素來實現(xiàn)流通交換的時代，聯(lián)邦學(xué)習(xí)被認為是一個可行的技術(shù)路徑。

趨勢三：智能化的大數(shù)據(jù)技術(shù)

第三個趨勢是AI的智能化技術(shù)。過去大數(shù)據(jù)分析主要被稱為計算智能，通過分布式計算實現(xiàn)大規(guī)模的數(shù)據(jù)統(tǒng)一分析，這也是AI發(fā)展的第一個階段。早先在06年以前的時候，大家是用分布式計算來解決機器學(xué)習(xí)效率問題，典型的比如Google的廣告系統(tǒng)就是用分布計算來做機器學(xué)習(xí)的。這塊主要的研究重點是用大量的機器組成一個超級計算機來做機器學(xué)習(xí)算法的分布式化，提升它的性能和精度，這個階段被稱為計算智能的階段。

09年以后，深度學(xué)習(xí)算法被發(fā)明出來了，這個算法在12年做人臉識別和圖象識別時打敗以往所有的算法。2009年也稱之為機器學(xué)習(xí)的元年，從這一年開始，我們把AI作為感知智能階段。一個很明顯的特點是，有多少人工就有多少智能。因為感知智能需要大量的樣本去進行訓(xùn)練，整個神經(jīng)網(wǎng)絡(luò)是一個黑盒子，需要大量的數(shù)據(jù)給它、教它，它才能訓(xùn)練出結(jié)果。一個識別算法要達到99.99%時，可能需要100萬張樣本。這個量是非常大的，是一個巨大的體力活。我們認為這個階段中國人工智能應(yīng)該會世界領(lǐng)先的，因為中國的勞動力優(yōu)勢，使得算法能夠領(lǐng)先于美國，事實也是如此。

到第三階段，大家在研究機器能不能不用喂樣本就可以自主學(xué)習(xí)，這也被稱為強化學(xué)習(xí)。還有一部分叫遷移學(xué)習(xí)，運用已有的知識來學(xué)習(xí)新的知識，這樣就使得勞動力優(yōu)勢喪失了，算法自動進行進化，這個階段被稱為認知智能階段。除了自己學(xué)習(xí)以外，也過度到知識推理階段，用知識圖譜來做智能的問答，機器更加智能化了。這塊也是現(xiàn)在正在研究的方向，我們稱之為人工智能第三個階段，即認知智能，也叫通用智能。

今天我們進一步認為過了認知智能階段，用推理技術(shù)，來構(gòu)建知識圖譜，在知識圖譜上推理，發(fā)現(xiàn)更多新的知識?，F(xiàn)在也有不少的金融機構(gòu)開始使用圖數(shù)據(jù)庫和知識圖譜。圖數(shù)據(jù)庫主要是用來做實時的反欺詐，進行快速查詢，然后進行風控。知識圖譜主要用來做企業(yè)風險分析，把企業(yè)相關(guān)信息全部集中在一起。過去被看作是相對靜態(tài)的圖譜今天經(jīng)常被認為是動態(tài)的，它隨著時間在變化，比如發(fā)生一個突發(fā)事件時，這個事件會產(chǎn)生什么影響，風險會如何擴散，我們需要一個動態(tài)的知識圖譜來構(gòu)建、描述，能夠進行推測和推理。同時，我們增加了時序分析、地理空間分析，還有3D的展現(xiàn)，讓圖的操作更加簡便。從以前用圖來做異常檢測、反欺詐，到后來用圖來查詢風險傳播，來判斷一個事件的影響，到現(xiàn)在我們把圖計算和深度學(xué)習(xí)結(jié)合起來，在上面進行大規(guī)模的圖分析，在前端用自然語言處理構(gòu)建一個圖。目前知識圖譜已經(jīng)在金融、國防工業(yè)、制造等多個行業(yè)開始得到使用。

總地來說，多模型、云原生、聯(lián)邦學(xué)習(xí)、智能化等技術(shù)都將助力大數(shù)據(jù)不斷發(fā)展和革新。而現(xiàn)如今，數(shù)據(jù)作為生產(chǎn)要素、企業(yè)的重要資產(chǎn)和進步的源動力，被提升到國家戰(zhàn)略的高度。未來，相信大數(shù)據(jù)技術(shù)將持續(xù)助力各行各業(yè)數(shù)字化轉(zhuǎn)型，成為企業(yè)的核心競爭力。

關(guān)于作者·孫元浩：

1977年11月生。江蘇省常州高級中學(xué)1996屆畢業(yè)生，2003年南京大學(xué)計算機系碩士畢業(yè)，同年加入英特爾，曾是英特爾亞太研發(fā)有限公司數(shù)據(jù)中心軟件部亞太區(qū)CTO。現(xiàn)任星環(huán)科技創(chuàng)始人、CEO。

現(xiàn)任上海市信息化專家委員會大數(shù)據(jù)專業(yè)委員會委員，中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟理事，星瀚大數(shù)據(jù)聯(lián)合實驗室副主任，上海市徐匯區(qū)科學(xué)技術(shù)協(xié)會委員。在大數(shù)據(jù)和人工智能的行業(yè)應(yīng)用領(lǐng)域擁有多年的技術(shù)成就和豐富經(jīng)驗。作為項目負責人承擔上海市級各類重大科技項目9項、擁有13項國內(nèi)外專利（其中：國內(nèi)發(fā)明專利1項，國際發(fā)明專利2項、歐盟發(fā)明專利2項、美國發(fā)明專利8項），并就大數(shù)據(jù)的行業(yè)應(yīng)用發(fā)表多篇論文。曾入選上海領(lǐng)軍人才培養(yǎng)計劃，榮獲至正杯上?？萍计髽I(yè)家創(chuàng)新獎，上海十大杰出青商，中國大數(shù)據(jù)領(lǐng)軍人物，中國數(shù)據(jù)英雄，互聯(lián)網(wǎng)技術(shù)應(yīng)用突出貢獻人物，上海智慧城市建設(shè)領(lǐng)軍先鋒，上海市優(yōu)秀學(xué)術(shù)技術(shù)帶頭人等多項榮譽。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。