【金猿人物展】DataPipeline創(chuàng)始人兼CEO陳誠(chéng)：2020年，企業(yè)將從關(guān)注商業(yè)智能轉(zhuǎn)向數(shù)據(jù)應(yīng)用

金猿人物展DataPipeline 陳誠(chéng) 商業(yè)智能數(shù)據(jù)應(yīng)用

陳誠(chéng) | 2019-12-19 04:53

【數(shù)據(jù)猿導(dǎo)讀】本文由陳誠(chéng)撰寫(xiě)并投遞數(shù)據(jù)猿參與評(píng)選

【金猿人物展】DataPipeline創(chuàng)始人兼CEO陳誠(chéng)：2020年，企業(yè)將從關(guān)注商業(yè)智能轉(zhuǎn)向數(shù)據(jù)應(yīng)用

本文由陳誠(chéng)撰寫(xiě)并投遞數(shù)據(jù)猿參與評(píng)選。

《跨越鴻溝》的作者Geoffrey Moore曾說(shuō)“沒(méi)有數(shù)據(jù)，運(yùn)營(yíng)企業(yè)就像一個(gè)又聾又瞎的人在高速上開(kāi)車(chē)一樣”。數(shù)據(jù)的價(jià)值從未像現(xiàn)在這樣被企業(yè)重視，IDC預(yù)估，到2020年，全世界會(huì)有44萬(wàn)億G數(shù)據(jù)，每一個(gè)世界500強(qiáng)的CEO和獨(dú)角獸創(chuàng)業(yè)公司的創(chuàng)始人都在思考并實(shí)踐如何能用數(shù)據(jù)支持、改造、創(chuàng)新業(yè)務(wù)，以獲得新的增長(zhǎng)。

一、2019年大數(shù)據(jù)發(fā)展的兩個(gè)趨勢(shì)

就即將過(guò)去的2019年而言，在大數(shù)據(jù)領(lǐng)域，我們關(guān)注到有以下兩個(gè)發(fā)展趨勢(shì)：

一是客戶更加關(guān)注數(shù)據(jù)驅(qū)動(dòng)的應(yīng)用，目前大家建設(shè)的思路較之前更加清晰，而且更加務(wù)實(shí)。以大數(shù)據(jù)或者人工智能為例，以往大家更多思考的是如何找到新技術(shù)在企業(yè)的落腳點(diǎn)，而今年隨著與業(yè)務(wù)的更多結(jié)合，新技術(shù)的發(fā)展速度會(huì)相對(duì)快一些。

另外一個(gè)趨勢(shì)是對(duì)速度的追求，當(dāng)業(yè)務(wù)部門(mén)希望使用數(shù)據(jù)來(lái)輔助決策或者創(chuàng)造新的商業(yè)模式時(shí)，通常有兩個(gè)時(shí)效性的要求：一是滿足數(shù)據(jù)需求的速度，二是對(duì)于所需數(shù)據(jù)的延遲性。因?yàn)闃I(yè)務(wù)創(chuàng)新的關(guān)鍵點(diǎn)在于能否快速滿足市場(chǎng)需求，不僅需要用數(shù)據(jù)快速測(cè)算市場(chǎng)規(guī)模，更需要在時(shí)間窗口打開(kāi)的時(shí)機(jī)內(nèi)提供相應(yīng)的產(chǎn)品和服務(wù)從而占領(lǐng)市場(chǎng)。而這一過(guò)程越來(lái)越受數(shù)據(jù)供給速度及時(shí)效性的影響，例如銀行業(yè)的實(shí)時(shí)頭寸和實(shí)時(shí)風(fēng)控系統(tǒng)，零售業(yè)的實(shí)時(shí)營(yíng)銷(xiāo)和互聯(lián)網(wǎng)業(yè)務(wù)，工業(yè)界的柔性制造，都是業(yè)務(wù)創(chuàng)新對(duì)需求滿足速度和低延遲要求非常高的典型。

以某地產(chǎn)企業(yè)為例，最近兩個(gè)業(yè)務(wù)系統(tǒng)因業(yè)務(wù)開(kāi)展需進(jìn)行數(shù)據(jù)交互，供應(yīng)商數(shù)據(jù)同步報(bào)價(jià)3人天。按照新數(shù)據(jù)同步建設(shè)標(biāo)準(zhǔn)規(guī)范，使用DataPipeline進(jìn)行數(shù)據(jù)同步，配置任務(wù)僅花3分鐘左右即完成?？傮w來(lái)說(shuō)，大多數(shù)企業(yè)的數(shù)據(jù)部門(mén)在數(shù)據(jù)時(shí)效性的滿足上是捉襟見(jiàn)肘的。

二、從建設(shè)到運(yùn)轉(zhuǎn)數(shù)據(jù)平臺(tái)，企業(yè)還有一段路要走

盡管越來(lái)越多的人認(rèn)同數(shù)據(jù)是極為重要的資產(chǎn)，但往往在推進(jìn)落地的過(guò)程中容易陷入高投入慢節(jié)奏的怪圈。投入產(chǎn)出比不清晰，多數(shù)項(xiàng)目半途夭折，已經(jīng)成為多數(shù)企業(yè)在數(shù)據(jù)管理方面不可言說(shuō)的痛。

過(guò)去一年，隨著跟不同行業(yè)的客戶進(jìn)行深入交流，發(fā)現(xiàn)大家對(duì)數(shù)據(jù)融合的關(guān)注度急速提升。大家達(dá)成的共識(shí)是，如果想要最大化挖掘數(shù)據(jù)價(jià)值，僅構(gòu)建一個(gè)數(shù)據(jù)平臺(tái)是遠(yuǎn)遠(yuǎn)不夠的。目前已經(jīng)有許多企業(yè)構(gòu)建了大數(shù)據(jù)平臺(tái)，實(shí)際上卻沒(méi)有將其業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)放在平臺(tái)中，這對(duì)于達(dá)成目標(biāo)而言，只走了一半距離。若要發(fā)揮數(shù)據(jù)的價(jià)值，還需像經(jīng)營(yíng)公司一樣精細(xì)化地經(jīng)營(yíng)數(shù)據(jù)。問(wèn)題看似簡(jiǎn)單，但很少有企業(yè)能在深入思考后得出嚴(yán)謹(jǐn)?shù)幕卮稹?dǎo)致目前在使用數(shù)據(jù)的過(guò)程中存在“多、亂、慢、差”等情況，嚴(yán)重降低和阻礙了數(shù)據(jù)發(fā)揮作用的價(jià)值與效率。

若想實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)，就不得不迎接種種難題。當(dāng)前，擁有幾百上千個(gè)內(nèi)外部數(shù)據(jù)源的組織越來(lái)越多，其中包括各種業(yè)務(wù)、流程、客戶數(shù)據(jù)，結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。如果再考慮到未來(lái)5G和區(qū)塊鏈帶來(lái)的應(yīng)用級(jí)影響，將又會(huì)是一種難以言說(shuō)的痛。在這種復(fù)雜異構(gòu)的背景下，企業(yè)一方面缺少高效整合、對(duì)外快速提供數(shù)據(jù)的方法和工具，另一方面更缺失能從這些數(shù)據(jù)中尋找規(guī)律，發(fā)掘價(jià)值的人才和文化，因此讓理解、整合數(shù)據(jù)變得雪上加霜。而這恰恰是所有數(shù)據(jù)使用的起點(diǎn)，所以，建立數(shù)據(jù)中心只是第一步，接下來(lái)還需將批量或?qū)崟r(shí)數(shù)據(jù)放在平臺(tái)中，再快速將數(shù)據(jù)從平臺(tái)中提供出去，供上下游使用。

金猿人物展DataPipeline_陳誠(chéng)_商業(yè)智能_數(shù)據(jù)應(yīng)用-1

同時(shí)文化、流程和工具也是幫助公司推動(dòng)數(shù)據(jù)價(jià)值落地，完成數(shù)字化業(yè)務(wù)轉(zhuǎn)型不可或缺的考量點(diǎn)。在這樣的大環(huán)境下，我們看到一個(gè)機(jī)會(huì)，一種變革，它包括了：

1）使用數(shù)據(jù)時(shí)，責(zé)權(quán)清晰的組織架構(gòu)和規(guī)則流程，即DataOps理念，使數(shù)據(jù)思維在組織內(nèi)深入人心；

2）將自動(dòng)化、智能化的現(xiàn)代基礎(chǔ)設(shè)施與數(shù)據(jù)管理體系組合起來(lái)賦能企業(yè)中的每一個(gè)人。用自上而下的信任和管控激發(fā)自下而上的自主和創(chuàng)新，從而打破數(shù)據(jù)組因長(zhǎng)期過(guò)載而制約企業(yè)發(fā)展的局面。

金猿人物展DataPipeline_陳誠(chéng)_商業(yè)智能_數(shù)據(jù)應(yīng)用-2

三、2020年，將從商業(yè)智能轉(zhuǎn)向關(guān)注數(shù)據(jù)應(yīng)用

關(guān)于數(shù)據(jù)使用，可能最早在數(shù)據(jù)分析領(lǐng)域應(yīng)用的比較多，但業(yè)務(wù)部門(mén)很快意識(shí)到數(shù)據(jù)用來(lái)做BI分析只是其中一部分應(yīng)用場(chǎng)景，如果能提供數(shù)據(jù)服務(wù)API給到其他業(yè)務(wù)部門(mén)或者是企業(yè)客戶，就可以創(chuàng)造新的業(yè)務(wù)和商業(yè)模式。為此，在2020年這些實(shí)時(shí)數(shù)據(jù)或者數(shù)據(jù)融合將走向應(yīng)用層，走向數(shù)據(jù)應(yīng)用。目前已經(jīng)有許多客戶啟動(dòng)了相關(guān)業(yè)務(wù)，從數(shù)據(jù)著手去改造業(yè)務(wù)思路，這在2020年將會(huì)進(jìn)一步鋪開(kāi)。

針對(duì)這點(diǎn)，可能互聯(lián)網(wǎng)公司做得比較好，但是很多大型企業(yè)在處理數(shù)字化轉(zhuǎn)型時(shí)，比較缺乏這種著力點(diǎn)。因?yàn)榇笮推髽I(yè)數(shù)據(jù)量龐大，可能有幾十?dāng)?shù)百的數(shù)據(jù)源，成千上萬(wàn)的數(shù)據(jù)庫(kù)或者應(yīng)用系統(tǒng)表需要被集成。拋開(kāi)這些問(wèn)題，業(yè)務(wù)部門(mén)也開(kāi)始開(kāi)放式地思考，什么樣的數(shù)據(jù)能夠輔助決策，創(chuàng)新業(yè)務(wù)，能夠隨時(shí)隨心快速提取使用數(shù)據(jù)就變成一種剛需。此時(shí)，需要一種非常靈活的數(shù)據(jù)集成融合服務(wù)，它應(yīng)當(dāng)可以支持各種形式的數(shù)據(jù)源，包括但不限于各種數(shù)據(jù)庫(kù)管理系統(tǒng)，同時(shí)，需要對(duì)所有數(shù)據(jù)源提供實(shí)時(shí)（低延遲）和定時(shí)（高延遲）兩種采集模式，并可以自由組合這兩種模式，通過(guò)批流一體的方式快速幫助業(yè)務(wù)用戶滿足快速取數(shù)的時(shí)效性要求。

金猿人物展DataPipeline_陳誠(chéng)_商業(yè)智能_數(shù)據(jù)應(yīng)用-3

四、業(yè)務(wù)數(shù)據(jù)自動(dòng)化監(jiān)控和異常檢測(cè)將成為有效的數(shù)據(jù)質(zhì)量管理方式

Gartner2019年提出數(shù)據(jù)體系的最新趨勢(shì)為“Augmented Data Management增強(qiáng)數(shù)據(jù)管理”，其內(nèi)涵和目標(biāo)都是盡量減少數(shù)據(jù)體系工作中手工的部分，利用AI算法來(lái)提高自動(dòng)化，智能化，讓企業(yè)將有限的資源投入到更有價(jià)值的工作中。為此，如何幫助數(shù)據(jù)部門(mén)全身心地投入到對(duì)于自動(dòng)化、智能化數(shù)據(jù)科技的實(shí)踐中，以最快地速度滿足數(shù)據(jù)多樣性、動(dòng)態(tài)性、質(zhì)量監(jiān)控、系統(tǒng)穩(wěn)定性的底層技術(shù)需求，是數(shù)據(jù)融合服務(wù)商一直努力的方向。

金猿人物展DataPipeline_陳誠(chéng)_商業(yè)智能_數(shù)據(jù)應(yīng)用-4

目前，隨著企業(yè)擁有的實(shí)時(shí)數(shù)據(jù)應(yīng)用越來(lái)越多以及人工制定規(guī)則的局限性和滯后性，過(guò)去的數(shù)據(jù)質(zhì)量方案價(jià)值每況愈下，企業(yè)在摸索新的行之有效的數(shù)據(jù)質(zhì)量管理方式。2020年，在線機(jī)器學(xué)習(xí)的思路將更多的被運(yùn)用到數(shù)據(jù)融合領(lǐng)域。一是為了應(yīng)對(duì)大量的實(shí)時(shí)數(shù)據(jù)，進(jìn)行實(shí)時(shí)數(shù)據(jù)質(zhì)量監(jiān)測(cè)。二是從算法中自動(dòng)產(chǎn)生比手工制定大一到兩個(gè)數(shù)據(jù)量級(jí)的規(guī)則，并自適應(yīng)的前置應(yīng)用起來(lái)。這才可能讓很多基于數(shù)據(jù)的業(yè)務(wù)（銷(xiāo)售預(yù)測(cè)/推薦/反欺詐/采購(gòu)降本等）隨著變化持續(xù)產(chǎn)生價(jià)值、避免損失。

DataPipeline作為一家企業(yè)級(jí)批流一體數(shù)據(jù)融合服務(wù)商和解決方案提供商，目前已經(jīng)成功服務(wù)了星巴克、金風(fēng)科技、財(cái)通證券、龍湖地產(chǎn)、陽(yáng)光城、喜茶、正保遠(yuǎn)程教育、邵逸夫醫(yī)院等涵蓋地產(chǎn)、金融、制造、能源、零售、教育、互聯(lián)網(wǎng)、醫(yī)療等多家行業(yè)領(lǐng)先的企業(yè)客戶。接下來(lái)希望能聯(lián)合更多客戶一起去實(shí)踐、碰撞，激發(fā)大家得到更為創(chuàng)新的發(fā)展思路。

作者簡(jiǎn)介

陳誠(chéng)，DataPipeline創(chuàng)始人&CEO，本科就讀于上海交通大學(xué)，留學(xué)于美國(guó)密歇根大學(xué)并獲榮譽(yù)畢業(yè)，曾就職于美國(guó) Google、Yelp 等國(guó)際知名公司；專(zhuān)注于大數(shù)據(jù)、計(jì)算機(jī)算法、軟件工程、互聯(lián)網(wǎng)產(chǎn)品等領(lǐng)域的研究，曾參與大數(shù)據(jù)團(tuán)隊(duì)構(gòu)建實(shí)時(shí)可擴(kuò)展大數(shù)據(jù)平臺(tái)每年給 Yelp 節(jié)省上千萬(wàn)美元。

來(lái)源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。