達觀數(shù)據(jù)創(chuàng)始人陳運文：算法技術(shù)剖析海量數(shù)據(jù)，數(shù)據(jù)價值驅(qū)動企業(yè)收益

達觀數(shù)據(jù) 陳運文算法數(shù)據(jù)價值

原創(chuàng) 陳運文 | 2017-09-20 07:43

【數(shù)據(jù)猿導(dǎo)讀】在數(shù)據(jù)不斷增加和算法技術(shù)日益優(yōu)良的并行時代，借助技術(shù)去挖掘數(shù)據(jù)蘊藏的價值，利用數(shù)據(jù)蘊藏的價值去驅(qū)動企業(yè)的運營和發(fā)展，這是技術(shù)、數(shù)據(jù)、企業(yè)收益三者之間的良性循環(huán)，各個行業(yè)均如此，金融行業(yè)亦不能免俗

達觀數(shù)據(jù)創(chuàng)始人陳運文：算法技術(shù)剖析海量數(shù)據(jù)，數(shù)據(jù)價值驅(qū)動企業(yè)收益

本文為數(shù)據(jù)猿推出的“金融科技價值—數(shù)據(jù)驅(qū)動金融商業(yè)裂變”大型主題策劃活動（查看詳情）第一部分的文章/案例/產(chǎn)品征集部分；感謝 達觀數(shù)據(jù)創(chuàng)始人陳運文 先生的投稿

來源：數(shù)據(jù)猿作者：陳運文

大數(shù)據(jù)正在融入我們的工作和生活中，數(shù)據(jù)挖掘和深度學(xué)習(xí)正改變我們對世界的認知，今后我們所看到、所聽到的都是數(shù)據(jù)優(yōu)化過的結(jié)果。這就是數(shù)據(jù)的價值和能量。

我們每天使用的各種APP，從基本的吃穿住行類到精神層面的學(xué)習(xí)升華類，無一不是數(shù)據(jù)的力量在支撐其運作。

比如你在亞馬遜購買一件襯衫，亞馬遜搜索系統(tǒng)會根據(jù)你的年齡、對品牌喜好等維度推薦結(jié)果，而不是正常搜索結(jié)果排列。亞馬遜超過30%的購買收入由個性化推薦系統(tǒng)所貢獻，背后大數(shù)據(jù)功不可沒。目前，大數(shù)據(jù)不但在購物方面功不可沒，也在文字喜好、視頻推薦等方面的影響越來越大。

回首創(chuàng)業(yè)前期的職場經(jīng)歷，無論是百度的技術(shù)研發(fā)還是盛大文學(xué)的數(shù)據(jù)負責(zé)人，都是在與數(shù)據(jù)打交道，彼時利用技術(shù)挖掘數(shù)據(jù)提高自己企業(yè)的效率和收入，而此時則是擅用技術(shù)的力量剖析用戶的海量數(shù)據(jù)，為更多企業(yè)提升收益。

從職場技術(shù)負責(zé)人到技術(shù)服務(wù)企業(yè)創(chuàng)始人，轉(zhuǎn)換的不止是身份和視角，更是如何最大化幫助更多企業(yè)挖掘數(shù)據(jù)價值的“野心”。期間，見證了大數(shù)據(jù)技術(shù)的不斷成長，也目睹了越來越多的企業(yè)對數(shù)據(jù)的重視和寄希望于數(shù)據(jù)來更懂每個用戶的過程。企業(yè)想要分析挖掘的數(shù)據(jù)形式多有不同，可能是常態(tài)化的文檔信息，也可能是動態(tài)化的用戶信息，亦或是數(shù)據(jù)庫中的日志信息。借此機會來分享科技和金融兩個不同行業(yè)通過技術(shù)輔助數(shù)據(jù)，數(shù)據(jù)衍生價值的典型場景。

文本挖掘助力大型科技企業(yè)高效分析海量文檔

大型科技企業(yè)充斥著大量有復(fù)用價值的文檔、資料和內(nèi)容性信息，比如中興、華為，或是以郵件形式沉浮于郵箱之中，或是以各種電子文檔的形式散落于計算機各個硬盤。

企業(yè)需要針對這些有可用價值的文字內(nèi)容進行重要信息提取，比如抽取出文檔中的專有名詞，通過這些專有名詞構(gòu)造知識圖譜，如若人工處理這些文檔來進行邏輯構(gòu)建和知識圖譜生成，所耗人力和時間成本可想而知。

目前多數(shù)科技企業(yè)甚至是大型企業(yè)的電子文檔資料仍然依靠人工手段進行核心內(nèi)容的閱讀和提取，進而煥發(fā)文檔內(nèi)在可用信息的“第二春”，但即便親力親為，人工過失也是難免。

針對大型科技企業(yè)的海量文本，利用機器學(xué)習(xí)技術(shù)自動從原始文獻中提取摘要，從而反映文檔的中心內(nèi)容，類似于中學(xué)里語文考試從一篇文章中概括出主體思想和中心大意?；谖恼聝?nèi)容自動提取摘要，減少文檔閱讀時間，提高獲取效率。

此處不得不提及的一個詞語“實體”，就是一篇文檔中出現(xiàn)的人名、地名、產(chǎn)品名、機構(gòu)名稱等，實體連起來就是關(guān)系網(wǎng)，由此得出實體間的邏輯關(guān)系，進而依托全網(wǎng)信息構(gòu)建知識圖譜。

既有實體，不得不提標簽，標簽就是文檔中的核心詞語。如果面對長篇累牘的科技企業(yè)文檔資料，晦澀枯燥，實行人工打標簽，效率低且無法持續(xù)工作。

高冷的金融行業(yè)，逃不開數(shù)據(jù)驅(qū)動的宿命

金融企業(yè)擁有海量的用戶數(shù)據(jù)，但受困于數(shù)據(jù)處理能力的限制，往往只對少數(shù)高凈值用戶提供定制化服務(wù)，而絕大部分的用戶服務(wù)難以實現(xiàn)個性化。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，金融企業(yè)可以通過拆分用戶的長期穩(wěn)定偏好和短期波動偏好，不斷調(diào)整興趣畫像模型，構(gòu)造精準“用戶畫像”。利用構(gòu)建好的“用戶畫像”，分析每位用戶潛在的金融服務(wù)需求方向，針對性地進行金融產(chǎn)品推廣營銷。

“用戶畫像”對于金融企業(yè)構(gòu)建金融資訊生態(tài)也大有裨益，通過實時分析用戶所偏好的資訊類型，為每位用戶推薦最合適的資訊，既保證了用戶對于特定資訊信息的實時更新，也增加了資訊的點擊率。但在此過程中，資訊推薦的多樣性和驚喜度尤為重要，以避免單一類型資訊推薦帶來的枯燥感。

用戶對于金融產(chǎn)品和金融資訊的獲取不單是依靠個性化推薦被動獲取，直接搜索相關(guān)金融產(chǎn)品和資訊關(guān)鍵詞主動獲取也是常用之道，因此，高效智能的搜索引擎可以幫助用戶精準直達搜索目標，顯著提升用戶的使用體驗。企業(yè)可以通過對用戶行為深度分析和智能搜索技術(shù)，實時識別用戶搜索意圖，并對用戶的搜索詞進行搜索提示和搜索詞糾錯，為用戶高效送達目標金融產(chǎn)品和相關(guān)金融資訊。

但需注意，金融行業(yè)是一個極其注重用戶數(shù)據(jù)隱私的行業(yè)，用戶數(shù)據(jù)的流失也意味這用戶信任的流失，所以金融企業(yè)除卻自我技術(shù)研發(fā)外，在選擇利用第三方技術(shù)時，如何兼顧數(shù)據(jù)的可用性和私密性也是重中之重，所以選擇技術(shù)優(yōu)良且值得信任第三方這一事項不容忽視。

在數(shù)據(jù)不斷增加和算法技術(shù)日益優(yōu)良的并行時代，借助技術(shù)去挖掘數(shù)據(jù)蘊藏的價值，利用數(shù)據(jù)蘊藏的價值去驅(qū)動企業(yè)的運營和發(fā)展，這是技術(shù)、數(shù)據(jù)、企業(yè)收益三者之間的良性循環(huán)，各個行業(yè)均如此，金融行業(yè)亦不能免俗。

作者介紹

陳運文，現(xiàn)任達觀數(shù)據(jù)CEO，上海市計算機學(xué)會多媒體分會副會長。中國知名大數(shù)據(jù)技術(shù)專家，國際計算機學(xué)會（ACM）和國際電子電器工程師學(xué)會（IEEE）高級會員，中國計算機學(xué)會（CCF）會員，復(fù)旦大學(xué)計算機博士和杰出畢業(yè)生，曾擔(dān)任盛大文學(xué)首席數(shù)據(jù)官，騰訊文學(xué)高級總監(jiān)、數(shù)據(jù)中心負責(zé)人，百度核心技術(shù)研發(fā)工程師等職務(wù)，曾帶領(lǐng)團隊多次獲得ACM競賽冠亞軍。

作為整體活動的第二部分，2017年10月25日，數(shù)據(jù)猿還將在北京舉辦千人規(guī)模的“2017金融科技價值——數(shù)據(jù)驅(qū)動金融商業(yè)裂變”峰會【本次論壇詳情丨第一屆回顧丨第二屆回顧】并將在現(xiàn)場舉行文章、案例、產(chǎn)品的頒獎典禮。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。