了解了這四件事，幫你走出深陷的數(shù)據(jù)分析迷宮

數(shù)據(jù)分析大數(shù)據(jù) 數(shù)據(jù)挖掘

核子可樂 | 2016-06-06 18:35

【數(shù)據(jù)猿導(dǎo)讀】數(shù)據(jù)中的錯誤往往最初尚屬于良性范疇，但隨著分析流程推進(jìn)而變得愈發(fā)糟糕。這就像是在解數(shù)學(xué)題，我們要從頭開始再推導(dǎo)一遍。這項(xiàng)工作可能費(fèi)時(shí)費(fèi)力，但卻能夠以清晰的思路幫助大家了解數(shù)據(jù)是如何一步步走偏并最終帶來完全不可理解的結(jié)論

通過真實(shí)世界中的實(shí)例，我們將共同通過種種錯誤的數(shù)據(jù)分析方式總結(jié)出正確的技巧與訣竅。

相信每位朋友都遇到過這樣的情況：將來自各類渠道的數(shù)據(jù)收集起來，通過A/B測試進(jìn)行驗(yàn)證，希望借此得出分析結(jié)論。但在檢查結(jié)果時(shí)，我們發(fā)現(xiàn)這些數(shù)字似乎并不怎么合理。事實(shí)上，數(shù)據(jù)驗(yàn)證也是我們?nèi)粘９ぷ髦械闹匾h(huán)節(jié)，而且與編碼一樣需要大量追蹤與調(diào)試。在今天的文章中，我們將共同通過真實(shí)世界中的實(shí)例，在對種種錯誤的數(shù)據(jù)分析方式的總結(jié)中找出正確的技巧與訣竅。

別急著做出假設(shè)

感覺上是對的，并不代表就真是對的。我們的大腦常常具有誤導(dǎo)性。我發(fā)現(xiàn)很多分析師都因這種失誤而身陷分析迷宮。

下面來看一種常見的問題：變更聚合查詢。

先看以下兩行查詢：

乍看起來，很多人會認(rèn)為這兩條查詢的含義是完全一致的。左側(cè)的查詢只是包含了額外的幾列，對吧?但事實(shí)并非如此。左側(cè)查詢中包含5個聚合層級，而右側(cè)的只有2個。左側(cè)的查詢返回的總和數(shù)字更小，因?yàn)槠涠x更為明確。如果將其作為分析流程中的組成部分，那么不同的結(jié)果會給后續(xù)分析造成嚴(yán)重影響。

聚合錯誤是一類非常常見的問題，因此即使對自己的思路很有信心，大家也請務(wù)必再檢查一遍。

Snapshot(快照)問題

過去四年當(dāng)中，身為分析師與教師的從業(yè)經(jīng)歷讓我意識到一大常見數(shù)據(jù)錯誤的起源：snapshot表。這類數(shù)據(jù)表面向特定時(shí)間段(每月、每周、每日)，旨在保存對應(yīng)時(shí)間點(diǎn)的數(shù)字化快照。

無論原因?yàn)楹?，這類表確實(shí)難倒了很多人。首先，這類表往往很難理解，這意味著剛剛接觸此類表的用戶無法立即意識到其屬于snapshot表，直接導(dǎo)致用戶對數(shù)據(jù)進(jìn)行錯誤運(yùn)用。最簡單的預(yù)防辦法就是為其設(shè)置明確的名稱，告知用戶其屬于snapshot類型。

我們該如何識別出snapshot表并找出其使用方法?最明確的標(biāo)志就是，snapshot表中的全部指標(biāo)往往都較平均值有所夸大。大家可能曾經(jīng)把周快照當(dāng)成日快照處理，并發(fā)現(xiàn)其結(jié)果比預(yù)期值大5到7倍——幸運(yùn)的是，這種錯誤還是很容易發(fā)現(xiàn)的。大家可以將其拆分成一天，例如時(shí)段中的最后一天，或者干脆取其中的最大值。具體參考以下示例：

選定一天：

找到最大值：

關(guān)鍵在于堅(jiān)持以同一種方法使用snapshot表。根據(jù)實(shí)際背景與目標(biāo)，我們可以選擇最為有效的具體處理辦法。

總結(jié)模式：

在驗(yàn)證數(shù)據(jù)有效性時(shí)，我發(fā)現(xiàn)總結(jié)其中的模式能夠有效識別錯誤。具體問題包括：

•是否全部數(shù)據(jù)皆受到影響?

•受影響數(shù)據(jù)是否全部來自同樣的群組?

•區(qū)別間呈正相關(guān)狀態(tài)，抑或各自隨機(jī)?

•數(shù)據(jù)之中是否存在某些模式?

這些問題有助于縮小思考范圍。如果全部數(shù)據(jù)皆受到影響，則問題往往源自腳本或查詢，而非數(shù)據(jù)本身。但如果某月或某日的值明顯較低，則需要調(diào)查基礎(chǔ)數(shù)據(jù)，這意味著該時(shí)段內(nèi)的數(shù)據(jù)收集機(jī)制可能存在錯誤。

如果所驗(yàn)證的數(shù)據(jù)往往以等比例方式低于原始數(shù)據(jù)，可能意味著部分?jǐn)?shù)據(jù)沒能被聚合查詢所正常收集。而基本邏輯錯誤則往往令分析結(jié)果呈現(xiàn)“隨機(jī)性”，意味著其中沒有明顯的模式。

從頭開始進(jìn)行梳理

如果嘗試了一切辦法但仍然無法確定問題，那么只能進(jìn)行深入挖掘了。雖然從直觀上講，我們都希望能夠從出錯的位置開始推進(jìn)，但現(xiàn)在大家需要安下心來從頭開始梳理。

數(shù)據(jù)中的錯誤往往最初尚屬于良性范疇，但隨著分析流程推進(jìn)而變得愈發(fā)糟糕。這就像是在解數(shù)學(xué)題，我們要從頭開始再推導(dǎo)一遍。這項(xiàng)工作可能費(fèi)時(shí)費(fèi)力，但卻能夠以清晰的思路幫助大家了解數(shù)據(jù)是如何一步步走偏并最終帶來完全不可理解的結(jié)論。

來源：51CTO

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。