大數(shù)據(jù)的下個(gè)轉(zhuǎn)折點(diǎn)——認(rèn)知應(yīng)用
【數(shù)據(jù)猿導(dǎo)讀】 這篇文章是一個(gè)投資者對(duì)數(shù)據(jù)分析在過去25年的回顧。作者西蒙迪斯從投資者的角度討論了數(shù)據(jù)分析的變革，認(rèn)知應(yīng)用的價(jià)值，以及最受風(fēng)投關(guān)注的大數(shù)據(jù)核心領(lǐng)域
在我的之前的一些博客中，我提到了生成認(rèn)知的必要性和重要性，并提供了一個(gè)認(rèn)知應(yīng)用的例子。我始終認(rèn)為認(rèn)知應(yīng)用是對(duì)于希望通過挖掘大數(shù)據(jù)從而改進(jìn)決策和解決重要問題的公司的關(guān)鍵所在。為了更好的理解和領(lǐng)會(huì)開發(fā)這類應(yīng)用的必要性，考慮在大數(shù)據(jù)領(lǐng)域正在發(fā)生什么，并且評(píng)估我們?cè)谏虡I(yè)智能系統(tǒng)上的經(jīng)驗(yàn)，及它應(yīng)該如何驅(qū)動(dòng)我們理解認(rèn)知應(yīng)用是十分重要的。
由于我認(rèn)為認(rèn)知應(yīng)用是大數(shù)據(jù)發(fā)展的下一個(gè)轉(zhuǎn)折(參見最近使用IBM Watson平臺(tái)建立的這類應(yīng)用舉例)，我將要在一系列博客中進(jìn)一步探討這個(gè)話題。在這篇博客中，我對(duì)于數(shù)據(jù)分析在過去25年的演變進(jìn)行了觀察。，特別是當(dāng)我們來到大數(shù)據(jù)時(shí)代，開發(fā)認(rèn)知應(yīng)用是必然之舉。在第二篇博客中，我將更為詳細(xì)地描述這類應(yīng)用，并且提供一些例子。在第最后的第三篇博客中，我將討論投資者對(duì)認(rèn)知應(yīng)用的興趣，并描述我最近對(duì)這一領(lǐng)域的創(chuàng)業(yè)公司的投資。在這些博客中，我的分析和理解均基于本人作為三十多年的企業(yè)家、量兩分析應(yīng)用創(chuàng)業(yè)公司的創(chuàng)始人以及在這一領(lǐng)域進(jìn)行了15年投資的風(fēng)險(xiǎn)投資人的經(jīng)驗(yàn)。
數(shù)據(jù)分析在過去25年
隨著過去25年中數(shù)據(jù)量的大幅增加，針對(duì)決策制定的數(shù)據(jù)理解都由兩個(gè)步驟組成：創(chuàng)建數(shù)據(jù)倉庫以及理解數(shù)據(jù)倉庫的內(nèi)容。
數(shù)據(jù)倉庫以及它的前身—企業(yè)數(shù)據(jù)倉庫、數(shù)據(jù)市場(chǎng)等，是構(gòu)造專業(yè)數(shù)據(jù)庫所必須的基礎(chǔ)架構(gòu)。這些數(shù)據(jù)可能來自于一個(gè)單獨(dú)的數(shù)據(jù)源(例如客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫)或者來自整合過的一系列不同的數(shù)據(jù)源(例如將一個(gè)客戶關(guān)系管理應(yīng)用的數(shù)據(jù)庫和一個(gè)包含每個(gè)客戶的社交媒體交互數(shù)據(jù)的數(shù)據(jù)庫整合起來)。這些數(shù)據(jù)可能是結(jié)構(gòu)化的(例如貨幣被描述為每個(gè)用戶支付的數(shù)量)、非結(jié)構(gòu)化的(例如一個(gè)客戶和一個(gè)服務(wù)專員之間以文本形式的交互內(nèi)容)。專業(yè)化數(shù)據(jù)是那些一旦被抓取，就是干凈的、有標(biāo)簽的、并且自動(dòng)地或被(比人們認(rèn)為更頻繁地進(jìn)行)人工描述的。
在過去幾年里，我們已經(jīng)通過大量使用開源軟件、云計(jì)算、商用硬件等來降低數(shù)據(jù)倉庫的開銷，并進(jìn)一步改進(jìn)我們管理更多樣、大量和高速產(chǎn)生的數(shù)據(jù)的能力。我們已經(jīng)從只有諸如金融服務(wù)的花旗銀行以及零售業(yè)的沃爾瑪之類的大公司才能負(fù)擔(dān)的、千萬美元開銷的數(shù)據(jù)倉庫轉(zhuǎn)向?qū)τ谥行⌒推髽I(yè)可以負(fù)擔(dān)得起的數(shù)據(jù)倉庫。最近，低開銷的服務(wù)提供方，諸如亞馬遜的Redshift，谷歌的BigQuery，甚至是微軟的Azure，已經(jīng)把數(shù)據(jù)倉庫移到云上。最終，數(shù)據(jù)倉庫對(duì)于普通企業(yè)來說都是可用的。
隨著數(shù)據(jù)倉庫的崛起，數(shù)據(jù)分析報(bào)告的交付已從打印轉(zhuǎn)向數(shù)據(jù)化
數(shù)據(jù)理解的第二步涉及到通過數(shù)據(jù)分析來理解數(shù)據(jù)倉庫的內(nèi)容。在商業(yè)環(huán)境中，這往往是通過報(bào)告和關(guān)聯(lián)的可視化來完成，有時(shí)候也會(huì)使用更加定制化的可視化和諸如神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法(機(jī)器學(xué)習(xí)雖然并不是新概念，但幾乎從數(shù)據(jù)倉庫作為數(shù)據(jù)存儲(chǔ)和管理工具出現(xiàn)開始就被使用)。
隨著數(shù)據(jù)倉庫被更多的各行各業(yè)的公司所采用，我們見證了可以創(chuàng)建的報(bào)告的形式的逐漸改變，報(bào)告被展現(xiàn)給分析師和決策者，以及準(zhǔn)備報(bào)告的人。在早期(80年代末90年代早期)，商務(wù)智能報(bào)告由技術(shù)專員創(chuàng)建，他們也是通過向數(shù)據(jù)倉庫提供函數(shù)和查詢來得到報(bào)告。這些報(bào)告被封裝(例如，它們可以被修改，但是有很大難度，且只能被同一個(gè)創(chuàng)建報(bào)告的技術(shù)專員所修改)，并在計(jì)算機(jī)打印紙上呈現(xiàn)。后來，盡管這些報(bào)告仍然被封裝，它們可以在電腦上通過專門的報(bào)告程序來呈現(xiàn)，再后來，可以呈現(xiàn)在包括智能電話和手持終端運(yùn)行的網(wǎng)絡(luò)瀏覽器上。近年來，查詢創(chuàng)建和報(bào)告撰寫的任務(wù)從技術(shù)專員轉(zhuǎn)交給了商業(yè)用戶。然而，盡管查詢和關(guān)聯(lián)的報(bào)告變得更快、更靈活、被更廣泛的使用，這些報(bào)告的主要用戶——商業(yè)分析師們，仍然困擾于在大量信息中發(fā)現(xiàn)在報(bào)告中存在的最簡單的模式。最重要的是，這些用戶糾結(jié)于基于報(bào)告所包含的信息應(yīng)該決定采取什么行動(dòng)(參見圖1的例子)。
|
|
圖1關(guān)于復(fù)雜的數(shù)據(jù)模式和可視化的一些常見的例子，圖片由Evangelos Simoudis提供
隨著更多數(shù)據(jù)的產(chǎn)生，我們已經(jīng)可以更有效地管理數(shù)據(jù)所帶來的開銷，但是仍然掙扎于進(jìn)行有效的數(shù)據(jù)分析
受到全球因特網(wǎng)的普及，它所帶來的網(wǎng)絡(luò)連通性的驅(qū)動(dòng)，物聯(lián)網(wǎng)之類的新領(lǐng)域產(chǎn)生的前所未見的海量數(shù)據(jù)，以及基于這些所創(chuàng)建的大量應(yīng)用，使得我們被數(shù)據(jù)所淹沒?？焖贁?shù)據(jù)和慢數(shù)據(jù)，簡單數(shù)據(jù)和復(fù)雜數(shù)據(jù)，所有這些數(shù)據(jù)都是前所未有的大量。數(shù)據(jù)的量變的多大了呢?我們已經(jīng)從在2014年產(chǎn)生大約5澤字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)到2020年將增加到大約40澤字節(jié)的非結(jié)構(gòu)化(參見圖2)。
|
|
圖2 非結(jié)構(gòu)化數(shù)據(jù)在2005至2020年的實(shí)際和預(yù)期增長對(duì)比，圖片由Evangelos Simoudis提供
特別是在上一個(gè)十年間，隨著數(shù)據(jù)量變得更大，企業(yè)的IT策略核心變?yōu)橛煤苌俚馁Y源做更多的事。公司的數(shù)據(jù)倉庫開始面臨兩大問題。第一，其中的一些系統(tǒng)不能有效地管理所獲取的海量數(shù)據(jù)，因而數(shù)據(jù)不能被應(yīng)用有效的利用。第二，開銷變得不能承受的高，成為數(shù)據(jù)管理方面另一大挑戰(zhàn)。
與此同時(shí)，當(dāng)新一代的數(shù)據(jù)管理軟件(例如Hadoop)被谷歌、雅虎等重量級(jí)科技公司開發(fā)出來，一些“部分”解決方案開始出現(xiàn)。一開始，這些軟件在商用硬件上運(yùn)行，并且很快開源，從而使得企業(yè)可以以較低的開銷來解決它們的大數(shù)據(jù)問題。Cloudera, Hortonworks以及一些其他提供開源軟件服務(wù)的公司在大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域扮演了重要角色。我將這些解決方案稱為“部分”是因?yàn)樵诠芾頂?shù)據(jù)的同時(shí)，這些系統(tǒng)并不包含企業(yè)所使用數(shù)據(jù)倉庫系統(tǒng)的那些復(fù)雜的、專用的功能。但是這些新系統(tǒng)擅于構(gòu)建數(shù)據(jù)湖泊，適用于多樣化的大數(shù)據(jù)環(huán)境，并旨在通過更低的開銷替代或增強(qiáng)某些類型的數(shù)據(jù)倉庫。
盡管我們有效管理大數(shù)據(jù)開銷的能力得到了改進(jìn)，但是我們分析數(shù)據(jù)的能力，不計(jì)開銷的情況下，仍然沒有提升。盡管大眾媒體宣稱從數(shù)據(jù)中得來的認(rèn)知結(jié)果將是新的石油(或金子，挑選你喜歡的隱喻)，但市場(chǎng)研究公司IDC預(yù)測(cè)，到2020只有很少一部分采集的數(shù)據(jù)會(huì)被分析。我們需要分析更多抓取的數(shù)據(jù)，并從中提取更多的信息。
我們正在致力于改進(jìn)我們分析數(shù)據(jù)的能力，但是面臨著數(shù)據(jù)專業(yè)人員的短缺
為了收集和分析更多的數(shù)據(jù)，同時(shí)不放棄報(bào)告的生成，我們開始廣泛采用機(jī)器學(xué)習(xí)和其他基于人工智能數(shù)據(jù)分析技術(shù)的自動(dòng)化的信息抽取方法。然而，這些方法要求使用一類新的專業(yè)人員——數(shù)據(jù)科學(xué)家。盡管我們看到數(shù)據(jù)科學(xué)家的數(shù)量潮涌般增加，但是我們需要更多，并且，與正在產(chǎn)生的數(shù)據(jù)相比我們永遠(yuǎn)不能提供足夠的數(shù)據(jù)科學(xué)家。麥肯錫曾估計(jì)，到2018年，美國將面臨(大約14萬至19萬缺口)人才缺口，這些人擁有可以從收集的數(shù)據(jù)中提取認(rèn)知結(jié)果的深度分析技能。我們還將缺少大約150萬擁有量化分析技能的、可以基于數(shù)據(jù)科學(xué)家生成的大數(shù)據(jù)分析來做出重要商業(yè)決策的經(jīng)理。
機(jī)器學(xué)習(xí)改進(jìn)了我們發(fā)現(xiàn)數(shù)據(jù)中關(guān)聯(lián)性的能力，但做出決策的要求的時(shí)間變短了，而數(shù)據(jù)產(chǎn)生的速度增加了
商業(yè)智能是一個(gè)出現(xiàn)了近40年的領(lǐng)域。統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)被使用的時(shí)間則更長。在這一時(shí)期，我們已經(jīng)提升了我們從數(shù)據(jù)集中識(shí)別關(guān)聯(lián)性的能力，但是做出決策的時(shí)間要求正在變短，而數(shù)據(jù)產(chǎn)生的速度不斷增加。舉例來說，公司的首席金融官們可能有一個(gè)月的時(shí)間來創(chuàng)建金融預(yù)報(bào)，然而一個(gè)自動(dòng)的在線廣告平臺(tái)只有僅僅10毫秒的時(shí)間來決定把哪一個(gè)數(shù)字廣告展現(xiàn)給特定的用戶(參見圖3)。此外，一個(gè)首席金融官僅需要參考幾十億字節(jié)的數(shù)據(jù)就可以得出決策，而在線廣告系統(tǒng)不得不分析萬億兆字節(jié)的數(shù)據(jù)，大部分的數(shù)據(jù)還是近實(shí)時(shí)生成的。
|
|
圖3 各行業(yè)做出決策需要的平均時(shí)間示意，圖片由Evangelos Simoudis提供
在一些應(yīng)用領(lǐng)域，簡單地識(shí)別出數(shù)據(jù)集中的關(guān)聯(lián)性對(duì)做出決策來說已經(jīng)足夠。在其中一些高價(jià)值高投資回報(bào)的領(lǐng)域，通過數(shù)據(jù)科學(xué)家和其他專業(yè)人員來從大量數(shù)據(jù)中抽取信息是合理且必要的。計(jì)算機(jī)安全威脅檢測(cè)以及信用卡欺詐檢測(cè)就是兩個(gè)這樣的領(lǐng)域。在這些領(lǐng)域里，作出決策的時(shí)間是非常短的，做出錯(cuò)誤決定(過度保守)的代價(jià)，至少最初并不是非常高。將一個(gè)交易視作欺詐或者將一個(gè)行為視為安全入侵的代價(jià)也很低(例如持卡人的不便或是對(duì)于系統(tǒng)管理員的一些網(wǎng)絡(luò)取證)。但是，沒有檢測(cè)到在已建立的行為模式中的異常的代價(jià)將會(huì)更高。
為了跟上大數(shù)據(jù)的節(jié)奏和改善我們對(duì)信息的使用，我們需要能快速而廉價(jià)地抽取相關(guān)性并將其與行動(dòng)關(guān)聯(lián)起來的應(yīng)用
考慮到預(yù)期的數(shù)據(jù)科學(xué)家和具有量化分析能力的商業(yè)用戶的短缺，以及我們迫切的繼續(xù)挖掘已經(jīng)收集到的海量數(shù)據(jù)的需求，我們要能更好地開發(fā)分析應(yīng)用，使其能夠生成認(rèn)知并關(guān)聯(lián)到行動(dòng)上。這類應(yīng)用，被我稱為認(rèn)知應(yīng)用，將超遠(yuǎn)勝于從數(shù)據(jù)中抽取相關(guān)性。
我們已經(jīng)在數(shù)據(jù)理解上取得了很大進(jìn)展。我們已經(jīng)降低了管理大數(shù)據(jù)的開銷，與此同時(shí)改進(jìn)了我們分析和提取關(guān)鍵信息的能力。但是，大數(shù)據(jù)的增量過快以至于我們不能通過更快或者更靈活的查詢以及報(bào)告來緊跟步伐。我們需要能夠創(chuàng)建廉價(jià)快速的可執(zhí)行認(rèn)知能力，特別是通過使用認(rèn)知應(yīng)用。我將在下一篇博客中更加完整地討論這一主題。
來源：微信公眾號(hào)大數(shù)據(jù)文摘
刷新相關(guān)文章
我要評(píng)論
活動(dòng)推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會(huì)將于2018-09-26
- 第五屆FEA消費(fèi)金融國際峰會(huì)62018-06-21
- 第五屆FEA消費(fèi)金融國際峰會(huì)2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會(huì)2018”2018-06-14
不容錯(cuò)過的資訊
-
1#后疫情時(shí)代的新思考#疫情之下，關(guān)于醫(yī)
-
2眾盟科技獲ADMIC 2020金粲獎(jiǎng)“年度汽車
-
3數(shù)據(jù)智能 無限未來—2020世界人工智能大
-
4#2020非凡大賞：數(shù)字化風(fēng)起云涌時(shí)，共尋
-
5#榜樣的力量#天璣數(shù)據(jù)大腦疫情風(fēng)險(xiǎn)感知
-
6#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
7#榜樣的力量#實(shí)時(shí)新型肺炎疫情數(shù)據(jù)小程
-
8#榜樣的力量#華佗疫情防控平臺(tái)丨數(shù)據(jù)猿
-
9#后疫情時(shí)代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新
-
102020可信云大會(huì)丨《云MSP發(fā)展白皮書》重
