來(lái)源：數(shù)據(jù)猿  作者：方育柯

本文為數(shù)據(jù)猿年關(guān)策劃活動(dòng)《大數(shù)據(jù)的2016，我的2016》系列稿件，感謝本文作者 數(shù)之聯(lián)CTO 方育柯 先生的投稿。

敬請(qǐng)期待2月16日（本周四），由數(shù)據(jù)猿與中歐商學(xué)院、騰訊視頻共同舉辦的高端領(lǐng)袖線下演講欄目中歐微論壇之《超聲波》。

— 大數(shù)據(jù)的奇點(diǎn) —

大數(shù)據(jù)自概念形成之際就不斷被投資機(jī)構(gòu)、媒體、科技工作者追捧，2013年被廣泛認(rèn)為是世界大數(shù)據(jù)元年，2014年是貴州的大數(shù)據(jù)元年，2015年被認(rèn)為大數(shù)據(jù)應(yīng)用元年，2016被認(rèn)為是真正意義上的大數(shù)據(jù)元年或者是大數(shù)據(jù)獨(dú)角獸元年，這些“元年”也不斷的被刷新，后續(xù)很難想象如果找不到新的”大數(shù)據(jù)XX元年”名詞，那么大數(shù)據(jù)會(huì)是什么樣子，是否還會(huì)受人矚目？

伴隨著上述各種元年的出現(xiàn)，還有國(guó)家層面和各地政府的種種措施，比如2014月大數(shù)據(jù)首次寫(xiě)入政府工作報(bào)告，2015年國(guó)務(wù)院多次出臺(tái)促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要，2016年國(guó)家建設(shè)全國(guó)一體化的國(guó)家大數(shù)據(jù)中心，包括一些地方政府全國(guó)各省市紛紛出臺(tái)大數(shù)據(jù)發(fā)展規(guī)劃，凸顯政府對(duì)大數(shù)據(jù)的重視。

緊接著是節(jié)節(jié)攀高的大數(shù)據(jù)市場(chǎng)規(guī)模評(píng)估，2015年據(jù)有關(guān)單位預(yù)測(cè)2020年大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到700億；2016年，大數(shù)據(jù)的市場(chǎng)規(guī)模評(píng)估再度被放大，當(dāng)時(shí)有機(jī)構(gòu)估計(jì)到2020年，中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到8000億；2017年新年伊始，工信部印發(fā)大數(shù)據(jù)十三五規(guī)劃，將醞釀開(kāi)啟萬(wàn)億級(jí)別市場(chǎng)規(guī)模，到2020年，大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬(wàn)億元。

上述種種情況說(shuō)明從媒體、政府、再到市場(chǎng)，對(duì)大數(shù)據(jù)的期待與日俱增，一切的一切都在預(yù)示著大數(shù)據(jù)的奇點(diǎn)正在到來(lái)，大數(shù)據(jù)價(jià)值被不斷放大，在很多人看來(lái)，大數(shù)據(jù)可以解決一切的一切問(wèn)題。

— 大數(shù)據(jù)的拐點(diǎn) —

聽(tīng)起來(lái)很美好，只不過(guò)上面的這些聲音仿佛都是與大數(shù)據(jù)無(wú)關(guān)者，真正與大數(shù)據(jù)最相關(guān)的顯然是客戶(hù)，他們才能夠真正的衡量大數(shù)據(jù)價(jià)值。作為最終的買(mǎi)單者，我們最聰明的客戶(hù)怎么說(shuō)呢？他們面對(duì)眾多紛繁踏至的各種廠商接二連三地PPT方案忽悠，也越來(lái)越敏感起來(lái)，甚至對(duì)大數(shù)據(jù)產(chǎn)生厭惡或者懷疑，逐漸發(fā)出他們自己的聲音，“別再給我推銷(xiāo)硬件了，我們不需要硬件”，“項(xiàng)目投入產(chǎn)出如何，能否幫我增加10萬(wàn)銷(xiāo)售客戶(hù)”，“ 你們有沒(méi)有跟我們行業(yè)類(lèi)似的成功案例”，“先放到我們XX業(yè)務(wù)上試一下，有效果再說(shuō)”。

前幾天終于陸陸續(xù)續(xù)有評(píng)論人發(fā)出：“盤(pán)點(diǎn)2016年大數(shù)據(jù)創(chuàng)業(yè):只有‘實(shí)力派’能熬過(guò)寒冬”，“大數(shù)據(jù)時(shí)代剛剛開(kāi)啟?大數(shù)據(jù)寒冬已至”，“ 大數(shù)據(jù)的寒冬已至,誰(shuí)將倒下,誰(shuí)成巨人?” ，仿佛大數(shù)據(jù)的拐點(diǎn)已到，已經(jīng)開(kāi)始走下坡路。

— 大數(shù)據(jù)的痛點(diǎn) —

我過(guò)去10年一直圍繞數(shù)據(jù)開(kāi)展工作，負(fù)責(zé)超過(guò)30項(xiàng)數(shù)據(jù)挖掘相關(guān)項(xiàng)目落地，有成功案例也有失敗案例，面對(duì)上述的”現(xiàn)象”，不禁會(huì)思考大數(shù)據(jù)過(guò)去、現(xiàn)在和未來(lái)，還有我們自身的發(fā)展之路。

大數(shù)據(jù)從2010年概念萌芽算起的話，至今已發(fā)展7年有余，但是相比于之前提到的種種期望，我們需要思考大數(shù)據(jù)到底能夠?yàn)槲覀儙?lái)什么，他的成功案例有多少，《大數(shù)據(jù)時(shí)代》中的數(shù)據(jù)應(yīng)用場(chǎng)景有多少在我們身邊大規(guī)模實(shí)現(xiàn)了？思考之后我們發(fā)現(xiàn)，當(dāng)前大數(shù)據(jù)的應(yīng)用主要是在互聯(lián)網(wǎng)運(yùn)營(yíng)商領(lǐng)域，這些應(yīng)用也只是大數(shù)據(jù)產(chǎn)業(yè)的冰山一角，未來(lái)將會(huì)進(jìn)一步向傳統(tǒng)產(chǎn)業(yè)滲透。

不得不說(shuō)大數(shù)據(jù)其實(shí)離我們還很遙遠(yuǎn)，在工業(yè)領(lǐng)域成功案例非常少，比如傳統(tǒng)制造企業(yè)中，產(chǎn)品需求、生產(chǎn)流程、銷(xiāo)售渠道、售后評(píng)價(jià)還是非常傳統(tǒng)的拍腦袋決策，根本沒(méi)有智慧化生產(chǎn)、精細(xì)化運(yùn)營(yíng)、個(gè)性化營(yíng)銷(xiāo)；像農(nóng)業(yè)更是如此，我們的農(nóng)業(yè)生產(chǎn)依然還在粗放的耕種土地、比如市場(chǎng)需要什么樣的糧食，什么區(qū)域適合什么樣的農(nóng)作物生長(zhǎng)，哪些土地該深耕哪些土地需要細(xì)作，我們基本上大腦一片空白，只能憑借個(gè)人經(jīng)驗(yàn)；還有對(duì)于被大眾廣泛詬病的政府機(jī)構(gòu)的辦事流程和效率、還有各種奇葩證明，都在說(shuō)明大數(shù)據(jù)并沒(méi)有發(fā)揮它的作用。

我們分析其原因主要是數(shù)據(jù)挖掘技術(shù)門(mén)檻高，缺乏數(shù)據(jù)挖掘的人才（尤其是一些二、三、四五線城市），使得數(shù)據(jù)和價(jià)值分離的問(wèn)題非常嚴(yán)重，雖然有小部分互聯(lián)網(wǎng)企業(yè)具備數(shù)據(jù)挖掘技術(shù)，但企業(yè)或者政府考慮到數(shù)據(jù)安全問(wèn)題，不愿意把數(shù)據(jù)拿出來(lái)。面對(duì)這些問(wèn)題，我們希望借助iCloudUnion產(chǎn)品，通過(guò)開(kāi)放數(shù)據(jù)挖掘能力，降低目標(biāo)企業(yè)將數(shù)據(jù)轉(zhuǎn)化為價(jià)值的門(mén)檻，對(duì)傳統(tǒng)企業(yè)進(jìn)行大數(shù)據(jù)賦能！

我們的大數(shù)據(jù)之路：

因此就誕生了這個(gè)產(chǎn)品 iCloudUnion，大數(shù)據(jù)價(jià)值發(fā)現(xiàn)與應(yīng)用創(chuàng)新平臺(tái)。與google xlab或者科大訊飛所提出的開(kāi)放數(shù)據(jù)挖掘結(jié)果不同，他們就像黑匣子一樣輸入一段語(yǔ)音，轉(zhuǎn)換為一段文字，或者輸入一段英文快速的翻譯成中文，而我們則是開(kāi)放數(shù)據(jù)挖掘過(guò)程，平臺(tái)上已經(jīng)集成150+機(jī)器學(xué)習(xí)算法，適配到hadoop、spark等分布式處理框架，使得能夠快速處理大規(guī)模的數(shù)據(jù)，那么有了這個(gè)平臺(tái)，我們可以通過(guò)簡(jiǎn)單的托拉拽操作就可以快速完成大型數(shù)據(jù)挖掘算法和模型開(kāi)發(fā)工作，通過(guò)開(kāi)放數(shù)據(jù)挖掘過(guò)程，為客戶(hù)授之以漁而非授之以魚(yú)，提升客戶(hù)的數(shù)據(jù)變現(xiàn)能力。

圖-1 大數(shù)據(jù)價(jià)值發(fā)現(xiàn)與應(yīng)用創(chuàng)新平臺(tái)（iCloudUnion）

舉幾個(gè)案例來(lái)說(shuō)明iCloudUnion的價(jià)值。這是某制造型企業(yè)SMT生產(chǎn)優(yōu)化的例子，通過(guò)獲取生產(chǎn)線上不同環(huán)節(jié)的加工數(shù)據(jù)，比如設(shè)備的電流、電壓、震動(dòng)、轉(zhuǎn)速等數(shù)據(jù)，分析哪個(gè)環(huán)節(jié)容易導(dǎo)致產(chǎn)品不良率比較高，我們花了幾個(gè)小時(shí)做了一個(gè)集成學(xué)習(xí)的模型，如上圖所示，下面是一個(gè)決策樹(shù)的可視化結(jié)果，通過(guò)這個(gè)模型，將之前進(jìn)料階段準(zhǔn)確率實(shí)現(xiàn)了大幅度提升。

這樣做的好處是，經(jīng)過(guò)初級(jí)培訓(xùn)的人在幾個(gè)小時(shí)內(nèi)就可以完成高級(jí)算法工程師要幾周才能完成的編程工作。

圖-2 某大型工廠SMT生產(chǎn)線優(yōu)化

第二個(gè)案例：是我們金融企業(yè)服務(wù)方面的一個(gè)案例，我們通過(guò)分析銀行的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)，內(nèi)部數(shù)據(jù)包括客戶(hù)的信用卡、資金流水、貸款、資產(chǎn)等數(shù)據(jù)，外部數(shù)據(jù)如工商信息、房產(chǎn)、法律訴訟以及行業(yè)宏觀發(fā)展數(shù)據(jù)，預(yù)測(cè)金融客戶(hù)貸后的逾期風(fēng)險(xiǎn)情況，以及我們使用集成學(xué)習(xí)模型，只需要花幾個(gè)小時(shí)既可完成該模型的開(kāi)發(fā)，右上側(cè)是整體建模流程，下面是一個(gè)決策樹(shù)的可視化結(jié)果，最終我們預(yù)測(cè)結(jié)果比他們專(zhuān)家經(jīng)驗(yàn)誤差率降低一半。

圖-3 某釀酒企業(yè)生產(chǎn)過(guò)程

圖-4 釀酒過(guò)程建模優(yōu)化過(guò)程

還有兩個(gè)案例是我們用iCloudUnion上的深度學(xué)習(xí)算法和復(fù)雜網(wǎng)絡(luò)分析算法做的一些應(yīng)用。我們利用深度學(xué)習(xí)的多重非線性變換對(duì)數(shù)據(jù)進(jìn)行多層次抽象的特征，將其應(yīng)用到電商圖片數(shù)據(jù)，實(shí)現(xiàn)所見(jiàn)即所得的圖像搜索，幫助消費(fèi)者快速找到商品對(duì)應(yīng)的店鋪、評(píng)價(jià)、銷(xiāo)量等信息。

另外我們通過(guò)復(fù)雜網(wǎng)絡(luò)分析技術(shù)，抽取節(jié)點(diǎn)的出度、入度、介數(shù)、核數(shù)、聚集系數(shù)、PR值，針對(duì)不同網(wǎng)絡(luò)圖數(shù)據(jù)，尋找用戶(hù)洗錢(qián)網(wǎng)絡(luò)，或者預(yù)測(cè)兩個(gè)人之間的關(guān)系是朋友、親戚、同事，或者哪些企業(yè)是在進(jìn)行串標(biāo)圍標(biāo)等問(wèn)題。

圖-5 iCloudUnion的其他應(yīng)用案例（深度學(xué)習(xí)和復(fù)雜網(wǎng)絡(luò)分析）

當(dāng)前這個(gè)平臺(tái)已經(jīng)能夠比較好的服務(wù)于一些企業(yè)和政府部門(mén)，但是我們希望進(jìn)一步將它開(kāi)放出來(lái)，讓數(shù)據(jù)愛(ài)好者能夠在這里分享數(shù)據(jù)、發(fā)布數(shù)據(jù)需求；科研人員或者算法愛(ài)好者可以使用現(xiàn)有平臺(tái)的計(jì)算能力、以及成熟的算法，提升實(shí)驗(yàn)效率，而將關(guān)注點(diǎn)放到新算法的研究上；

同時(shí)也可以將新的研究成果分享出來(lái)，并服務(wù)于工業(yè)上的應(yīng)用需求（不管你是R、Python、Matlab還是Java等算法語(yǔ)言，我們統(tǒng)統(tǒng)轉(zhuǎn)化為可視化算子，因此讓工業(yè)界客戶(hù)可以直接使用，而不用再去找論文、扒代碼、做適配）；

創(chuàng)新創(chuàng)業(yè)者可以利用現(xiàn)有的數(shù)據(jù)和科學(xué)家的研究成果，開(kāi)發(fā)新的行業(yè)App，服務(wù)于企業(yè)；企業(yè)可以在這里消費(fèi)數(shù)據(jù)、消費(fèi)算法、以及消費(fèi)行業(yè)應(yīng)用APP。

— 大數(shù)據(jù)的未來(lái) —

對(duì)于未來(lái)，我們希望基于上述或者類(lèi)似平臺(tái)建設(shè)，實(shí)現(xiàn)多方共贏的生態(tài)圈建設(shè)，與眾多大數(shù)據(jù)廠商一道共同推動(dòng)全社會(huì)數(shù)據(jù)到全企業(yè)數(shù)據(jù)的融合，全社會(huì)資源和全企業(yè)需求的完整對(duì)接，實(shí)現(xiàn)數(shù)據(jù)在全社會(huì)的數(shù)據(jù)價(jià)值發(fā)現(xiàn)，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)創(chuàng)新，幫助政府實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的政府、社會(huì)治理優(yōu)化，推動(dòng)大數(shù)據(jù)時(shí)代的到來(lái)。

功成不必在我，但求成功有我！

關(guān)于作者：

方育柯，數(shù)之聯(lián)CTO，主要從事計(jì)算機(jī)科學(xué)與大數(shù)據(jù)等交叉領(lǐng)域的研究工作，在機(jī)器學(xué)習(xí)、集成學(xué)習(xí)、深度學(xué)習(xí)和圖像檢索等領(lǐng)域具有豐富的研究經(jīng)驗(yàn)和一定的國(guó)際影響力。

曾擔(dān)任華為大數(shù)據(jù)產(chǎn)品部架構(gòu)師，負(fù)責(zé)并參與金融、運(yùn)營(yíng)商等領(lǐng)域的多個(gè)大數(shù)據(jù)分析挖掘項(xiàng)目，具有豐富的大數(shù)據(jù)商業(yè)應(yīng)用與工程實(shí)踐經(jīng)驗(yàn)，致力于大數(shù)據(jù)在各大熱點(diǎn)領(lǐng)域的商業(yè)化、產(chǎn)業(yè)化應(yīng)用。

注：本文由 方育柯 投稿數(shù)據(jù)猿發(fā)布。

歡迎更多大數(shù)據(jù)企業(yè)、愛(ài)好者投稿數(shù)據(jù)猿，來(lái)稿請(qǐng)直接投遞至：tougao@datayuan.cn

更多大咖“干貨”，請(qǐng)小主“親啟”

TalkingData首席布道師鮑忠鐵：我眼中的大數(shù)據(jù)產(chǎn)業(yè)2016年終總結(jié)

普丘信息系統(tǒng)COO陳濤：智能零售行業(yè)客戶(hù)數(shù)據(jù)應(yīng)用的思考與實(shí)踐

易觀CTO郭煒：大數(shù)據(jù)也進(jìn)入了下半場(chǎng)，業(yè)務(wù)與算法是重中之重

博雅大數(shù)據(jù)學(xué)院院長(zhǎng)歐高炎：人才是大數(shù)據(jù)產(chǎn)業(yè)生存和發(fā)展的命脈

神策數(shù)據(jù)創(chuàng)始人兼CEO桑文鋒：采集缺失折射數(shù)據(jù)建設(shè)之殤

睿碼科技執(zhí)行董事王海婷：大數(shù)據(jù)在治理霧霾方面有很多事可做

薪人薪事聯(lián)合創(chuàng)始人呂恒：數(shù)據(jù)化是創(chuàng)業(yè)者對(duì)抗熵增的最佳實(shí)踐

勤智數(shù)碼董事長(zhǎng)廖昕：做好政務(wù)大數(shù)據(jù)工作還需“一網(wǎng)一生態(tài)”

艾媒咨詢(xún)創(chuàng)始人兼CEO張毅：大數(shù)據(jù)和云計(jì)算將成為AI硬件的核心技術(shù)支柱

微瑞思創(chuàng)CTO周像金：大數(shù)據(jù)需求方、供給方及從業(yè)者走過(guò)的2016

中科院方向東博士：生命大數(shù)據(jù)開(kāi)始進(jìn)入尋常百姓生活

慧辰資訊CTO馬亮：大數(shù)據(jù)行業(yè)進(jìn)入良性發(fā)展期，深度分析與智能化成為重要新趨勢(shì)

華院（上海）CEO唐岳嵐：未來(lái)，RTB在大數(shù)據(jù)智能化營(yíng)銷(xiāo)領(lǐng)域?qū)⒋笥凶鳛?/a>

【友盟+】CDO 李丹楓：機(jī)器為人可為的能力越來(lái)越強(qiáng)，但應(yīng)用的發(fā)力點(diǎn)還在為人所不可為

星環(huán)科技創(chuàng)始人兼CTO孫元浩：后Hadoop時(shí)代，分布式計(jì)算已成為主流計(jì)算方式

AdMaster創(chuàng)始人洪倍：大數(shù)據(jù)深度應(yīng)用時(shí)代，全流程把控?cái)?shù)據(jù)實(shí)現(xiàn)價(jià)值最大化

中堃數(shù)據(jù)CEO魏清：大數(shù)據(jù)終究還是要服務(wù)于業(yè)務(wù)！

博曉通創(chuàng)始人&CEO張宇：對(duì)于大數(shù)據(jù)的理解，目前仍存在4個(gè)誤區(qū)

六禾創(chuàng)投合伙人杜挺：大數(shù)據(jù)進(jìn)入快速發(fā)展期，企業(yè)服務(wù)類(lèi)項(xiàng)目最受歡迎

聚道科技創(chuàng)始人兼CEO李廈戎：為生命計(jì)算，基因數(shù)據(jù)獨(dú)特的魅力在于造福個(gè)體

來(lái)源：數(shù)據(jù)猿