大數(shù)據(jù)技術(shù)在金融行業(yè)有哪些應(yīng)用前景？?

大數(shù)據(jù) 大數(shù)據(jù)應(yīng)用金融行業(yè)

錢糧胡同? | 2016-12-06 09:00

【數(shù)據(jù)猿導(dǎo)讀】信用評(píng)級(jí)分為個(gè)人的或者公司的，對(duì)于銀行對(duì)公投行業(yè)務(wù)來(lái)說(shuō)，銀行還需要做一個(gè)內(nèi)部評(píng)級(jí)。這種內(nèi)部信用評(píng)級(jí)是銀行計(jì)算風(fēng)險(xiǎn)權(quán)重資產(chǎn)（RWA）等重要關(guān)鍵數(shù)據(jù)的基礎(chǔ)

大數(shù)據(jù)技術(shù)在金融行業(yè)有哪些應(yīng)用前景？?

感覺答案里實(shí)際經(jīng)歷或純金融和大數(shù)據(jù)結(jié)合的例子不多。我介紹個(gè)某行的實(shí)驗(yàn)項(xiàng)目和分析的公司案例（雅虎），勸當(dāng)娛樂~ 這方面有興趣也有技術(shù)背景的同學(xué)可以和我保持聯(lián)系，之后有意往這方面發(fā)展。: )

先科普，介紹下為什么做這個(gè)項(xiàng)目：我們都知道信用評(píng)級(jí)（可以理解為違約概率），有個(gè)人的（類似于個(gè)人征信，比如芝麻信用），有公司的（大到標(biāo)普穆迪，本地的如中誠(chéng)信，大公）。對(duì)于銀行對(duì)公投行業(yè)務(wù)來(lái)說(shuō)，銀行還需要做一個(gè)內(nèi)部評(píng)級(jí)（internal rating, 分自動(dòng)評(píng)分和人工兩種）。這種內(nèi)部信用評(píng)級(jí)是銀行計(jì)算風(fēng)險(xiǎn)權(quán)重資產(chǎn)（RWA）等重要關(guān)鍵數(shù)據(jù)的基礎(chǔ)。目前來(lái)看，無(wú)論是基于財(cái)務(wù)分析或非財(cái)務(wù)分析，無(wú)論是系統(tǒng)根據(jù)模型自動(dòng)評(píng)分或人工依據(jù)預(yù)設(shè)分析模板手動(dòng)計(jì)算評(píng)分，都屬于傳統(tǒng)方法 - 即客戶經(jīng)理或信貸員將財(cái)務(wù)數(shù)據(jù)填入系統(tǒng)，然后得出一個(gè)信用評(píng)級(jí)。

但是這樣的評(píng)分仍然片面，因?yàn)橐粋€(gè)公司，假設(shè)上市有年報(bào)的話，里面提供的信息往往不是財(cái)務(wù)信息所能表達(dá)的，然而傳統(tǒng)評(píng)級(jí)方法很難體現(xiàn)這類的考慮。同時(shí)，很多公司，比如一些大型銀行，年報(bào)厚達(dá)600頁(yè)，國(guó)內(nèi)比如萬(wàn)科的年報(bào)也有200多頁(yè)?？咳藖?lái)讀然后給出評(píng)價(jià)的話基本不現(xiàn)實(shí)。也因此，我們目前在做的這個(gè)實(shí)驗(yàn)項(xiàng)目就是通過(guò)成千上萬(wàn)家上市公司年報(bào)進(jìn)行大數(shù)據(jù)文本挖掘，借助機(jī)器學(xué)習(xí)算法，看是否可以相對(duì)準(zhǔn)確快速的預(yù)測(cè)公司的信用評(píng)級(jí)，將這類結(jié)果提供給銀行業(yè)務(wù)人員做為一個(gè)重要的參考指標(biāo)。

#更新：評(píng)論區(qū)有朋友說(shuō)有點(diǎn)粗糙，不夠細(xì)致（但是感謝點(diǎn)贊！）。我想開脫兩句：一是畢竟是行內(nèi)在做的實(shí)驗(yàn)性東西（其實(shí)就是幾個(gè)部門有類似興趣愛好的同事），不好放上來(lái)所有具體的細(xì)節(jié)，只希望提供觀點(diǎn)和實(shí)際經(jīng)驗(yàn)引起討論，謝謝理解；二是我盡量服從需求，往這里添加一些可以公開的信息和細(xì)節(jié)，供大家討論交流。當(dāng)然，這個(gè)只是初步嘗試，還有很多缺陷，路還很長(zhǎng)。評(píng)論區(qū)有些討論很有意義，權(quán)當(dāng)對(duì)答案的補(bǔ)充。

#更新1：具體使用的數(shù)據(jù)庫(kù)：

整體過(guò)程大概分如下五步：

1. 模糊匹配 (fuzzy matching)：因?yàn)閿?shù)據(jù)量大，我們不能手動(dòng)匹配公司年報(bào)與我們已有的公司評(píng)級(jí)數(shù)據(jù)庫(kù)（已有的評(píng)級(jí)數(shù)據(jù)庫(kù)是用來(lái)之后機(jī)器學(xué)習(xí)培訓(xùn)模型用的），所以我們將下載的所有年報(bào)公司名稱通過(guò)模糊匹配的方法對(duì)應(yīng)到我們已有的公司評(píng)級(jí)數(shù)據(jù)庫(kù)里（這個(gè)數(shù)據(jù)庫(kù)我們用的是標(biāo)準(zhǔn)普爾的）：模糊算法主要是傳統(tǒng)的Jaro-Winkler和Levenshtein。

2. 預(yù)處理數(shù)據(jù)，去掉噪音：目前我們只做英文年報(bào)，去掉年報(bào)中的文本噪音，比如the, and這類意義不大的詞條，也包括去掉空格，將大寫字母換成小寫字母，去掉標(biāo)點(diǎn)符號(hào)，數(shù)字等

3. 文本分割與詞條分析：去掉噪音后，剩下的我們認(rèn)為有意義的文本，計(jì)算詞條頻率，又稱文本-詞條矩陣；補(bǔ)充更新：其實(shí)這步還做了一些其他處理（feature selection & Binning），只是沒有全寫下來(lái)，這里補(bǔ)充下：

- 把一些稀有詞條去除：在所有年報(bào)中出現(xiàn)頻率小于1%的詞條
- 去掉解釋力量較弱的詞條：與評(píng)級(jí)的相關(guān)性很低
- 去掉冗余詞條：與其它詞條有高相關(guān)性
- Data Binning：為之后的分類算法做準(zhǔn)備

4. 機(jī)器學(xué)習(xí)：主要是分類算法，目前我們嘗試的方法如下

- 支持向量機(jī) (support vector machine)
- 樸素貝葉斯分類 (naïve bayes)
- 線性降維算法 (linear discriminant analysis)
- 決策樹 (decision trees)
- 神經(jīng)網(wǎng)絡(luò) (neural network)
- 邏輯回歸 (logistic regression)

5.模型應(yīng)用：根據(jù)前一步培訓(xùn)的模型預(yù)估信用評(píng)級(jí)（具體預(yù)測(cè)的評(píng)級(jí)分布見下圖更新2,深藍(lán)色Base代表的是正確的評(píng)級(jí)，淺藍(lán)色代表的是不同算法得出的結(jié)果，可以看出SVM和NSVM的評(píng)級(jí)分布擬合的最好）

#更新2：不同算法得出的評(píng)級(jí)分布與正確評(píng)級(jí)分布的對(duì)比

綜上，目前來(lái)看，支持向量機(jī)（svm和nsvm）得到的結(jié)果最好，但是總體來(lái)說(shuō)準(zhǔn)確率不到60%，還有很多地方可以改進(jìn)來(lái)提升模型評(píng)估能力。

最終，我們將評(píng)估結(jié)果，外加語(yǔ)義情感分析（sentiment analysis）等做成自動(dòng)報(bào)告供銀行內(nèi)部相關(guān)部門使用。

說(shuō)到這兒，我有說(shuō)所有的這些我們都用的是免費(fèi)開源的R語(yǔ)言嗎？: ) 這年頭銀行也很會(huì)省錢。

最后放個(gè)雅虎公司的報(bào)告做例子。基于2015年的年報(bào)，2.78%的詞條有正面情感，3.08%負(fù)面，94.14%方向不清晰。模型結(jié)果：支持向量機(jī)的最準(zhǔn)確，BB-，和標(biāo)普以及行里內(nèi)部給的評(píng)級(jí)一致，樸素貝葉斯和線性降維給的是BBB-，差了點(diǎn)兒。

來(lái)源：知乎?

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。