大數(shù)據(jù)分析師們注意了，不要跳進(jìn)這些數(shù)據(jù)陷阱

大數(shù)據(jù) 大數(shù)據(jù)分析數(shù)據(jù)庫

Keith Collins | 2016-01-13 15:22

【數(shù)據(jù)猿導(dǎo)讀】數(shù)據(jù)分析師們這一生看的圖表不計(jì)其數(shù)，做的圖表也不計(jì)其數(shù)，如果花費(fèi)心思做出來一張圖，結(jié)果是模糊或錯(cuò)誤的數(shù)據(jù)或者軸線有偏差，那這就會直接誤導(dǎo)讀者，確實(shí)很可惜。大數(shù)據(jù)時(shí)代講的就是數(shù)據(jù)，數(shù)據(jù)分析師要學(xué)會合理引用數(shù)據(jù)，讓數(shù)據(jù)更加標(biāo)準(zhǔn)化。我們來看看數(shù)據(jù)庫都有哪些陷阱

大數(shù)據(jù)分析師們注意了，不要跳進(jìn)這些數(shù)據(jù)陷阱

數(shù)據(jù)圖也有陷阱?即使數(shù)據(jù)準(zhǔn)確、完整，其展現(xiàn)方式如果不易于讀者理解，或是產(chǎn)生誤導(dǎo)，也就喪失了它配合故事敘述的意義。美國媒體Quartz的記者Keith Collins在《2015最具誤導(dǎo)性的圖表》一文中總結(jié)出了我們經(jīng)常會出錯(cuò)的幾種類型，幫你煉就火眼金睛，做出更優(yōu)質(zhì)的圖表。

這一年來，Quartz制作了眾多圖表，也花了不少時(shí)間思考、討論相關(guān)問題，發(fā)布了長達(dá)6000字的數(shù)據(jù)處理指南(深度君將會奉上中文版精華)以及一篇講解如何正確使用y軸的文章?？吹胶芏鄨D表要么使用模糊或錯(cuò)誤的數(shù)據(jù)、畫出有偏差的軸線，要么在其他方面誤導(dǎo)讀者，我們覺得很可惜。我們會想，“世界到處都是優(yōu)質(zhì)的數(shù)據(jù)呀!為什么每個(gè)人不能合理引用數(shù)據(jù)、使之標(biāo)準(zhǔn)化，直接把它展現(xiàn)出來呢?”因此，Quartz今年總結(jié)出錯(cuò)誤最突出的例子，加以糾正。

1. y軸不出現(xiàn)，大小難以辨

——以Planned Parenthood數(shù)據(jù)中y軸的偏差為例

在2015年9月29日舉行的一場聽證會上，美國參議院中的共和黨議員不斷追問非營利組織Planned Parenthood(該組織是一個(gè)提供計(jì)劃生育相關(guān)服務(wù)的非營利組織，大約每年接待 270萬女性進(jìn)行各種身體檢查，避孕與墮胎等。來源：知乎)的主席Cecile Richards，指責(zé)她濫用了該組織的年度聯(lián)邦資助中的500萬美元。為了闡明問題，猶他州的參議員Jason Chaffetz以下圖佐證：

他解釋道：“粉色軸線告訴我們該組織所做的乳房檢查次數(shù)在不斷減少，紅色軸線則顯示墮胎手術(shù)實(shí)施次數(shù)逐漸上升。這反映了該組織的現(xiàn)狀。”

乍一看，這張圖的確顯示Planned Parenthood實(shí)施的墮胎手術(shù)數(shù)量猛增，同時(shí)癌癥檢查的次數(shù)卻急劇下降。讀者還可能被誤導(dǎo)，認(rèn)為從2010年起該組織實(shí)施的墮胎次數(shù)遠(yuǎn)遠(yuǎn)多于預(yù)防檢查次數(shù)。但這并非實(shí)情。這張圖最大的錯(cuò)誤在于沒有明顯的y軸，因而兩條數(shù)據(jù)線隨意交叉，讓人誤以為327000比935573還要大呢。

美國事實(shí)核查型新聞網(wǎng)站Politifact 核對了以上數(shù)據(jù)，從Planned Parenthood年度報(bào)告中選取了墮胎手術(shù)和預(yù)防性措施的數(shù)據(jù)。數(shù)據(jù)范圍調(diào)整合理后，信息展現(xiàn)如下：

如圖所示，癌癥檢查和預(yù)防服務(wù)的數(shù)量的確呈下降趨勢，這和原圖表相一致。但這些檢查的次數(shù)仍遠(yuǎn)遠(yuǎn)大于墮胎手術(shù)次數(shù)。下圖采用了另一種展現(xiàn)方式，用的是這兩項(xiàng)服務(wù)逐年的百分比變化：

(注意：本圖并未收錄2008年的數(shù)據(jù);Politifact和Quartz均未找到該年的報(bào)告)

2.圖形元素不可用，雙重標(biāo)準(zhǔn)有漏洞

——以美國白宮錯(cuò)誤計(jì)算高中畢業(yè)率為例

在12月中旬，美國白宮的官方賬號發(fā)了一條推特：“好消息：美國高中畢業(yè)率已升至歷史最高水平。”推特配圖如下：

此圖有好幾個(gè)問題值得商榷。首先，在數(shù)據(jù)圖里用圖形元素作單位從來都不是個(gè)好主意。用五本書代表75%、或者用16本書代表82%是幾個(gè)意思?這到底是個(gè)柱狀圖，y軸就應(yīng)該以零作為起始值。同樣的數(shù)據(jù)，采用合適的比例后呈現(xiàn)如下：

其實(shí)畢業(yè)率的逐年變化沒有原圖那么大，對吧?但問題不止于此。仔細(xì)看看白宮這張圖右下角“數(shù)據(jù)來源”一行：畢業(yè)率數(shù)據(jù)來自“美國教育部(DOE)下屬的國家教育統(tǒng)計(jì)中心(NCES)”。問題在于，無論是統(tǒng)計(jì)中心還是教育部都無法提供一張囊括2008年至2014年逐年畢業(yè)率的單一數(shù)據(jù)表。不同的數(shù)據(jù)集合可能采用不同方法計(jì)算畢業(yè)率，把這些數(shù)據(jù)放在一起討論是有潛在問題的。這也說明政府的數(shù)據(jù)分類做的太糟糕，即使是畢業(yè)率這樣簡單的指標(biāo)他們也需要好幾張數(shù)據(jù)表才拼湊得出。

現(xiàn)在，我們暫且假定白宮的核算方法沒問題，選取的數(shù)據(jù)表都采用了同樣的方法計(jì)算畢業(yè)生組別，但有一個(gè)問題我們不能忽視：即使y軸固定，柱狀圖也可能是一種糟糕的呈現(xiàn)方式。要知道，制圖時(shí)最重要的是選擇合適的方式呈現(xiàn)數(shù)據(jù)。若要顯示一段時(shí)間內(nèi)畢業(yè)率的細(xì)微差別，最好用折線圖。以下數(shù)據(jù)圖便采用了單一數(shù)據(jù)源，囊括了1975年以來每年的畢業(yè)率：

若縱觀全局，我們能得出幾個(gè)結(jié)論。一是畢業(yè)率在奧巴馬甫任總統(tǒng)時(shí)就已經(jīng)呈現(xiàn)上揚(yáng)趨勢。另一個(gè)是，截至2012年，奧巴馬任期內(nèi)畢業(yè)率的增長百分比已經(jīng)超過了以往任何一屆總統(tǒng)。如果像白宮圖表顯示的那樣，2014年的畢業(yè)率為82%，該增長幅度實(shí)際接近于7%。 (*更新：我們之前將統(tǒng)計(jì)中心和教育部分為“兩個(gè)單獨(dú)的數(shù)據(jù)來源”。一些讀者指出統(tǒng)計(jì)中心是教育內(nèi)部機(jī)構(gòu)，因此應(yīng)該被視為同一數(shù)據(jù)來源。我們表示贊同，對以上內(nèi)容做了相應(yīng)修改。)

3. y軸起始都是零，細(xì)微變化看不清

以National Review雜志全球變暖的報(bào)道為例下面這張圖可謂是2015全球(圖片界)最差圖表：

當(dāng)有人說所有折線圖的y軸都應(yīng)該以0為起始點(diǎn)時(shí)，我們都應(yīng)該想想這張圖。全球平均氣溫即使僅僅變化了1度，也會影響巨大，但這張圖從零開始計(jì)數(shù)，氣溫的變化就顯得微乎其微了。正如記者David Yanofsky在他的文章《y軸不以零起始也完全可以》里所說，當(dāng)你畫出口腔溫度變化圖，y軸從零開始計(jì)，就會變成下圖這樣：

下面這份同樣看不出變化的逐年對比圖則是由彭博商業(yè)周刊圖片部發(fā)布的：

實(shí)際上，要想準(zhǔn)確呈現(xiàn)1880年以來全球平均氣溫的變化，我們得把y軸的起始數(shù)據(jù)調(diào)高：

4.背景不了解，制圖出偏頗

——以美國政府開支分布圖為例

以下是2015年初瘋傳的政府開支餅圖：

Politifact發(fā)現(xiàn)，這是一個(gè)對于政府開支實(shí)際運(yùn)作方式根本上的誤讀。該圖展現(xiàn)的僅僅是政府可以自由決定的部分，完全忽略了硬性開支。實(shí)際上，醫(yī)療保健、醫(yī)療補(bǔ)助、社會保障等法定項(xiàng)目占去了政府總開支的60%。該圖顯示政府給低收入者發(fā)放的“食品券”一項(xiàng)已被歸入食品和農(nóng)村預(yù)算一項(xiàng)(可由政府自由決定)，實(shí)際上是硬性項(xiàng)目的一部分，并沒有在圖中體現(xiàn)出來。以下則是包括硬性開支后的2015年政府開支圖：

據(jù)Politifact稱，圖中的“其余開支”一項(xiàng)包括“司法部門、立法部門、獨(dú)立機(jī)構(gòu)和商務(wù)部、內(nèi)政部、財(cái)政部除去抵消性收入后的開支”。

5.數(shù)據(jù)來源不統(tǒng)一，標(biāo)準(zhǔn)混亂失公允

——以美國總統(tǒng)任期內(nèi)大規(guī)模槍擊案數(shù)量圖為例

加州圣伯納迪諾市發(fā)生槍擊后，對于如何計(jì)算劃分大規(guī)模槍擊的討論在數(shù)據(jù)界展開。相關(guān)的數(shù)據(jù)收集有好幾種，定義的方法也各不相同。有些只計(jì)算了造成四人及以上死亡的槍擊案例，其他的則將四人及以上中槍(無論死傷)的案例都算在內(nèi)。問題在于，根據(jù)不同標(biāo)準(zhǔn)，每年大規(guī)模槍擊的數(shù)量范圍可從幾十跨到上百。

在12月2日，一家名為Truthstream Media的網(wǎng)站發(fā)布了一篇文章，題目為“為什么奧巴馬任內(nèi)發(fā)生的大規(guī)模槍擊超過了他前四任的總和?”報(bào)道插入下圖作為證明，據(jù)稱參考多個(gè)數(shù)據(jù)源。一是Mother Jones數(shù)據(jù)庫計(jì)算的大規(guī)模槍擊數(shù)量，使用的就是四人及以上死亡的標(biāo)準(zhǔn)。其他兩個(gè)數(shù)據(jù)源來自維基百科。

經(jīng)過檢查，我們發(fā)現(xiàn)這些數(shù)據(jù)都是有意篩選過的，奧巴馬任期的數(shù)字被歪曲了。

TruthStreamMedia.com對于“大規(guī)模槍擊案”的定義范圍限定寬松，捏造了不失數(shù)據(jù)。奧巴馬任期內(nèi)的槍擊案還算上了家庭謀殺案，而計(jì)算前四任時(shí)卻把這一項(xiàng)省去了。例如，奧巴馬任期內(nèi)的統(tǒng)計(jì)中出現(xiàn)了“Ervin Lupoe槍擊案”的記錄。Lupoe在2009年殺死了自己的妻子和五個(gè)孩子，但是維基百科或Mother Jones數(shù)據(jù)庫并沒有收錄該案件，因?yàn)樗粚儆?ldquo;大規(guī)模槍擊”一類。以下為以總統(tǒng)任期為單位的大規(guī)模槍擊案數(shù)量統(tǒng)計(jì)圖，使用的是Mother Jones的數(shù)據(jù)：

來源：Quartz

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時(shí)，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。