關(guān)聯(lián)規(guī)則算法如何實(shí)際應(yīng)用？你需知道這3大關(guān)鍵詞、4大步驟

關(guān)聯(lián)規(guī)則算法大數(shù)據(jù) 數(shù)據(jù)分析

海致BDP | 2017-10-26 15:22

【數(shù)據(jù)猿導(dǎo)讀】關(guān)聯(lián)規(guī)則是反映一個(gè)事物與其他事物之間的相互依存性和關(guān)聯(lián)性，常用于實(shí)體商店或在線電商的推薦系統(tǒng)

關(guān)聯(lián)規(guī)則算法如何實(shí)際應(yīng)用？你需知道這3大關(guān)鍵詞、4大步驟

來(lái)源：數(shù)據(jù)猿作者：海致BDP

關(guān)聯(lián)規(guī)則是反映一個(gè)事物與其他事物之間的相互依存性和關(guān)聯(lián)性，常用于實(shí)體商店或在線電商的推薦系統(tǒng)：通過(guò)對(duì)顧客的購(gòu)買(mǎi)記錄數(shù)據(jù)庫(kù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘，最終目的是發(fā)現(xiàn)顧客群體的購(gòu)買(mǎi)習(xí)慣的內(nèi)在共性，例如購(gòu)買(mǎi)產(chǎn)品A的同時(shí)也連帶購(gòu)買(mǎi)產(chǎn)品B的概率，根據(jù)挖掘結(jié)果，調(diào)整貨架的布局陳列、設(shè)計(jì)促銷(xiāo)組合方案，實(shí)現(xiàn)銷(xiāo)量的提升，最經(jīng)典的應(yīng)用案例莫過(guò)于<啤酒和尿布>。

關(guān)聯(lián)規(guī)則分析中的關(guān)鍵概念包括：支持度(Support)、置信度(Confidence)與提升度(Lift)。首先，我們簡(jiǎn)單溫故下這3個(gè)關(guān)鍵指標(biāo)：

支持度 (Support)

支持度是兩件商品（A∩B）在總銷(xiāo)售筆數(shù)(N)中出現(xiàn)的概率，即A與B同時(shí)被購(gòu)買(mǎi)的概率。

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-1

公式：

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-2

例子說(shuō)明：

比如某超市2016年有100w筆銷(xiāo)售，顧客購(gòu)買(mǎi)可樂(lè)又購(gòu)買(mǎi)薯片有20w筆，顧客購(gòu)買(mǎi)可樂(lè)又購(gòu)買(mǎi)面包有10w筆，那可樂(lè)和薯片的關(guān)聯(lián)規(guī)則的支持度是20%，可樂(lè)和面包的支持度是10%。

置信度 (Confidence)

置信度是購(gòu)買(mǎi)A后再購(gòu)買(mǎi)B的條件概率。簡(jiǎn)單來(lái)說(shuō)就是交集部分C在A中比例，如果比例大說(shuō)明購(gòu)買(mǎi)A的客戶很大期望會(huì)購(gòu)買(mǎi)B商品。

公式：

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-3

例子說(shuō)明：

某超市2016年可樂(lè)購(gòu)買(mǎi)次數(shù)40w筆，購(gòu)買(mǎi)可樂(lè)又購(gòu)買(mǎi)了薯片是30w筆，顧客購(gòu)買(mǎi)可樂(lè)又購(gòu)買(mǎi)面包有10w筆，則購(gòu)買(mǎi)可樂(lè)又會(huì)購(gòu)買(mǎi)薯片的置信度是75%，購(gòu)買(mǎi)可樂(lè)又購(gòu)買(mǎi)面包的置信度是25%，這說(shuō)明買(mǎi)可樂(lè)也會(huì)買(mǎi)薯片的關(guān)聯(lián)性比面包強(qiáng)，營(yíng)銷(xiāo)上可以做一些組合策略銷(xiāo)售。

提升度 (Lift)

提升度表示先購(gòu)買(mǎi)A對(duì)購(gòu)買(mǎi)B的概率的提升作用，用來(lái)判斷規(guī)則是否有實(shí)際價(jià)值，即使用規(guī)則后商品在購(gòu)物車(chē)中出現(xiàn)的次數(shù)是否高于商品單獨(dú)出現(xiàn)在購(gòu)物車(chē)中的頻率。如果大于1說(shuō)明規(guī)則有效，小于1則無(wú)效。

公式：

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-4

例子說(shuō)明：

可樂(lè)和薯片的關(guān)聯(lián)規(guī)則的支持度是20%，購(gòu)買(mǎi)可樂(lè)的支持度是3%，購(gòu)買(mǎi)薯片的支持度是5%，則提升度是1.33>1, A-B規(guī)則對(duì)于商品B有提升效果。

理論很簡(jiǎn)單，真正實(shí)踐起來(lái)卻會(huì)遇到種種困難，印證了那句"數(shù)據(jù)分析師的50%～80%的時(shí)間都花在了處理數(shù)據(jù)上”，例如一般POS明細(xì)是以下圖表形式展現(xiàn)：

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-5

要計(jì)算支持度(Support)、置信度(Confidence)與提升度(Lift)，首先需要知道Freq(A∩B)、Freq(A)、Freq(B)和總筆數(shù)數(shù)值，那么需要對(duì)商品進(jìn)行排列組合。

所以，我們希望轉(zhuǎn)換成下表形式，如銷(xiāo)售ID=000001， 4種商品的兩兩組合（種）：

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-6

若一個(gè)收銀小票（銷(xiāo)售ID）有30種商品，則組合數(shù)達(dá)到:

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-7

而可視化層級(jí)上還需要展現(xiàn)集團(tuán)下每個(gè)分公司、每個(gè)城市、每個(gè)門(mén)店、月度、季度或者年度時(shí)間的關(guān)聯(lián)規(guī)則分析，如果用傳統(tǒng)的工具來(lái)實(shí)現(xiàn)上述分析無(wú)異于大海撈針。

BDP商業(yè)數(shù)據(jù)平臺(tái)以高效的數(shù)據(jù)處理和優(yōu)秀的可視化數(shù)據(jù)分析著稱。在BDP中，不僅可以便捷地實(shí)現(xiàn)多維數(shù)據(jù)分析，還可以通過(guò)靈活強(qiáng)大的功能組合來(lái)進(jìn)行更深層面的數(shù)據(jù)分析探索。

從一個(gè)分析師的角度來(lái)看，我認(rèn)為BDP有以下三個(gè)最大的亮點(diǎn)：

1. 易操作性——可以很好的把想法轉(zhuǎn)化為實(shí)踐應(yīng)用。

2. 優(yōu)秀的處理能力——輕松處理億級(jí)數(shù)據(jù)，尤為突出的是合表速度秒級(jí)響應(yīng)，這得益于BDP強(qiáng)大的大數(shù)據(jù)架構(gòu)以及云端計(jì)算能力。

3. 靈活及優(yōu)秀的可視化——通過(guò)拖拽的方式即可實(shí)現(xiàn)可視化，同時(shí)也可自定義報(bào)表。

下面我們就來(lái)看看在BDP中如何實(shí)現(xiàn)Apriori算法，實(shí)現(xiàn)關(guān)聯(lián)規(guī)則分析：

商品兩兩組合的初步想法是通過(guò)量化的思想對(duì)商品進(jìn)行編碼，比方說(shuō)可按照增序（從1開(kāi)始），算出每筆銷(xiāo)售單最大值，求出兩者差值得到一組數(shù)組，通過(guò)數(shù)組行轉(zhuǎn)列形式實(shí)現(xiàn)2種商品兩兩組合。

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-8

圖：銷(xiāo)售單2種商品兩兩組合邏輯圖

BDP實(shí)現(xiàn)過(guò)程：

為了實(shí)現(xiàn)上述的組合算法，也為了方便感興趣的同學(xué)進(jìn)行實(shí)踐，我們先上傳10條數(shù)據(jù)到BDP平臺(tái)，共有3票購(gòu)物單，最大商品數(shù)分別是5、3以及2。

（如果您不是企業(yè)級(jí)用戶，可以直接免費(fèi)用BDP個(gè)人版，注冊(cè)后即可使用。）

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-9

圖：EXCEL 上傳表

操作①：

【工作表】-【創(chuàng)建合表】-【SQL創(chuàng)建】

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-10

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-11

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-12

圖：商品量化

上圖轉(zhuǎn)換成日期的形式，主要目的是為下一步的數(shù)組轉(zhuǎn)列做準(zhǔn)備，為配合explode（）函數(shù)使用。其中需要說(shuō)明的是上圖[日期]字段是自定義日期，可以更改成任意日期，沒(méi)有實(shí)際日期意義。

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-13

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-14

圖：商品組合數(shù)效果

上圖主要使用的關(guān)鍵函數(shù)是FILL_DATES（[日期1],[日期2]），Explode（）。組合效果初顯現(xiàn)，只是缺另一個(gè)商品名，然后把[下一日期]字段通過(guò)LEFT JOIN 關(guān)聯(lián)出商品B的名稱。

操作②：

【工作表】-【創(chuàng)建合表】-【多表關(guān)聯(lián)】用于創(chuàng)建表關(guān)聯(lián) 包括（LEFT/INNER/ FULL JOIN）

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-15

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-16

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-17

圖：商品組合數(shù)實(shí)現(xiàn)

從上圖可以看到A商品和B商品兩兩組合邏輯已完成，在當(dāng)前表基礎(chǔ)上我們已經(jīng)可以去做連帶分析內(nèi)容。

在這里，求Freq(A)和Freq(B)和總筆數(shù)數(shù)值就不祥述了，思想大致是求出所有銷(xiāo)售商品的A 和B商品的頻次，通過(guò)合表關(guān)聯(lián)，整合到一張大表。

操作③：

【工作表】-【創(chuàng)建合表】-【追加合并】合并訂單總數(shù) ，A商品訂單數(shù)，B商品訂單數(shù)和A∩B商品連帶筆數(shù)

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-18

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-19

圖：追加合并邏輯實(shí)現(xiàn)

追加合并可以把相同字段商品合并在一起，方便計(jì)算三個(gè)指標(biāo)（支持度、置信度、提升度）有利于可視化展現(xiàn)。

操作④：

可視化展現(xiàn)：【BDP】-【儀表盤(pán)】

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-20

圖：儀表盤(pán)全局展示

注：為了更好體現(xiàn)可視化效果，這部分的可視化展示成果并非使用上述的測(cè)試數(shù)據(jù)或某個(gè)企業(yè)數(shù)據(jù)。

制作三個(gè)圖表進(jìn)行購(gòu)物籃分析：

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-21

圖： TOP 20商品連帶次數(shù)

上圖反映季度連帶最高頻次商品，高聯(lián)帶商品意味著對(duì)客戶吸引力大商品粘性強(qiáng)，同時(shí)也可以查看不同分公司的TOP20連帶情況。根據(jù)結(jié)果我們可以合理設(shè)計(jì)促銷(xiāo)策略，例如買(mǎi)2送1等。

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-22

圖：商品組合指標(biāo)

置信度高說(shuō)明商品連帶緊密，說(shuō)明客戶連帶意愿強(qiáng)，同時(shí)關(guān)注支持度，支持度高說(shuō)明是需求量大，如果支持度低，置信度高其實(shí)對(duì)市場(chǎng)作用是有限小的。

關(guān)聯(lián)規(guī)則算法_大數(shù)據(jù)_數(shù)據(jù)分析-23

圖：購(gòu)物來(lái)分析詳情

通過(guò)單價(jià)，支持度，置信度，提升度綜合指標(biāo)來(lái)看待商品組合，發(fā)現(xiàn)高價(jià)值關(guān)聯(lián)商品，有助于提升客單價(jià)，同時(shí)也需要考慮提升度，提升度小于1，提升效果有限，可以把精力花在提升度大于1的商品組合。

同樣地，我們是否可以實(shí)現(xiàn)三種商品的組合呢？答案是顯然的，只要我們深入理解以上過(guò)程，三種商品關(guān)聯(lián)也是可以在BDP實(shí)現(xiàn)的。

除了購(gòu)物籃分析這個(gè)典型應(yīng)用，關(guān)聯(lián)規(guī)則分析還在金融行業(yè)、搜索引擎、智能推薦等領(lǐng)域大有所為，如銀行客戶交叉銷(xiāo)售分析、搜索詞推薦或者識(shí)別異常、基于興趣的實(shí)時(shí)新聞推薦等。

BDP有強(qiáng)大穩(wěn)定的數(shù)據(jù)計(jì)算能力、多維度的數(shù)據(jù)分析、直觀的可視化展現(xiàn)能夠幫助企業(yè)實(shí)現(xiàn)關(guān)聯(lián)規(guī)則分析。通過(guò)不同維度的分析，從海量數(shù)據(jù)中捕捉到關(guān)聯(lián)關(guān)系，進(jìn)行有的放矢的決策調(diào)整，進(jìn)一步提升銷(xiāo)售能力、提高產(chǎn)品收益。

最后附上關(guān)聯(lián)規(guī)則分析的體驗(yàn)地址：https://me.bdp.cn/home.html

來(lái)源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。