傅一平BI實戰(zhàn)之談：為什么BI取數(shù)這么難？

大數(shù)據(jù) BI 傅一平取數(shù)

傅一平 | 2016-09-23 14:26

【數(shù)據(jù)猿導讀】大多數(shù)企業(yè)，都有BI或類似BI的部門或團隊，它們肯定有兩項基礎工作，一項是提供報表，，還有一項是取數(shù)。但是BI取數(shù)會很難，來看看傅一平時怎么看待這個問題

大多數(shù)企業(yè)，都有BI或類似BI的部門或團隊，它們肯定有兩項基礎工作，一項是提供報表，這個大家都懂，還有一項是取數(shù)，即根據(jù)業(yè)務要求臨時性的提供數(shù)據(jù)解決方案，比如提供營銷清單或決策分析的數(shù)據(jù)。

大多數(shù)時候，取數(shù)的量遠遠超過報表的量，因為報表往往是成形的指標的系統(tǒng)固化，而取數(shù)往往是具有探索性和分析型，因此數(shù)量可能會非常龐大，比如一些企業(yè)一年的報表新增或修改不到幾百張，但取數(shù)卻有上萬個。

取數(shù)是一個企業(yè)非常依賴的一項基礎IT工作，除了常規(guī)的KPI和報表,其實放在領導案頭的多數(shù)分析數(shù)據(jù)，往往來自臨時性的取數(shù)，典型的場景如下：

“領導發(fā)現(xiàn)了KPI的一個異動問題，業(yè)務分析人員要盡快核查清楚問題，但常規(guī)的報表然并卵，業(yè)務人員會作一些設想，然后設計大量的分析表格，而這個表格的數(shù)據(jù)，則需要BI團隊中的取數(shù)人員臨時性的提取并提供。”

現(xiàn)在大數(shù)據(jù)很熱，人工智能很高大上，但其實大多企業(yè)的日常決策，靠的還是這種數(shù)據(jù)支撐模式，IT在里面的價值，就是提供這些數(shù)據(jù)。

取數(shù)是當前大多數(shù)企業(yè)決策的生命線，也是IT價值的重要體現(xiàn)，這個評價我想在當前毫不為過，雖然業(yè)務人員可以風光的將取數(shù)人員的成果最終展現(xiàn)為漂亮的圖表和分析報告，但完成分析的時候，也請千萬別忘了感謝一下取數(shù)人員。

這里為取數(shù)人員的價值正名，雖然可能在老板年終總結報告上只有一個呆板的數(shù)字，但又有哪一頁跟取數(shù)脫得了關系，雖然很多人并沒意識到。

但業(yè)務人員卻經(jīng)常抱怨取數(shù)的速度和質量，取數(shù)看起來并不那么容易。

為什么?

自己有過很多年的取數(shù)經(jīng)歷，雖然現(xiàn)在已經(jīng)不做取數(shù)了，但還是要回過頭來談談關于取數(shù)的看法，希望有所啟示。

首先，是錯位問題。

取數(shù)，到底是IT人員的職責還是業(yè)務分析人員的職責，從傳統(tǒng)的角度來講，存在的即是合理的，在大多數(shù)企業(yè)仍然是IT人員的職責，畢竟IT人員離數(shù)據(jù)最近，既然系統(tǒng)是你建的，從上面取個數(shù)理所當然是你的職責，況且還要寫代碼，更加不可能是業(yè)務人員的事情。

但從另一個角度講，取數(shù)是業(yè)務人員的職責也是合理的，做分析，講究的是個數(shù)據(jù)探索，探索本來是個不確定的事情，而且需要反復迭代，取數(shù)中業(yè)務人員和取數(shù)人員的溝通成本是很大的，兩個不同背景的人，在業(yè)務口徑和數(shù)據(jù)口徑上要達到統(tǒng)一，對于雙方要求都很高。

取數(shù)的迭代成本其實蠻高的，一般以天計，給取數(shù)設置一個指標，比如反復取數(shù)率，估計這個指標也是驚人的。

這個錯位需要改變嗎?

各個企業(yè)需要根據(jù)實際情況做取舍，沒有絕對的邊界，取數(shù)放在哪邊都有合理的地方，但如果業(yè)務人員抱怨速度太慢，可以轉換下思維，嘗試下自己去取數(shù)，這個并不是純技術活，懂點SQL就能應付大多數(shù)場景，在數(shù)據(jù)處理靈活性上，比那個EXCEL強很多。

玩數(shù)據(jù)，不要太相信人家端到你面前的，那也是信息量打了很多折扣的，業(yè)務分析人員應該看到企業(yè)最鮮活、最原始的數(shù)據(jù)，那個最有價值。

因此建議業(yè)務分析人員應該具備取數(shù)能力，這為數(shù)據(jù)分析和創(chuàng)新提供了無限可能，雖然會犧牲一些取數(shù)時間，但爭取來的溝通成本降低、IT技能增長及數(shù)據(jù)分析視野拓展，是完全值得的，取數(shù)讓你更具競爭力。

對于取數(shù)人員來講，如果有可能，可以先嘗試著開放一點集市讓業(yè)務人員自己來取，你不開放，不去推動，業(yè)務人員也許永遠不會走出第一步。

除了傳統(tǒng)習慣，業(yè)務人員所以不自己取數(shù)，往往是因為市場競爭沒到那個份上，數(shù)據(jù)分析快點慢點沒關系，也不是關鍵環(huán)節(jié)，但如果是個數(shù)據(jù)驅動型的企業(yè)，還是要做一些變革。

但有一點需要承認，如果錯位不改變，無論取數(shù)系統(tǒng)多快，由于溝通成本很難降低，取數(shù)速度沒法獲得幾何級的上升。

其次，取數(shù)對于BI的人員要求其實很高。

取數(shù)人員，對于某個取數(shù)，要知其然并知其所以然，什么意思呢?

當前BI取數(shù)人員，大多是從數(shù)據(jù)倉庫或報表庫等OLAP系統(tǒng)提取數(shù)據(jù)，數(shù)據(jù)倉庫的模型表往往是已經(jīng)加工好的表，其在提供取數(shù)方便的時候，也過濾掉了大量源系統(tǒng)數(shù)據(jù)的信息，這往往導致一個取數(shù)需求明明可以取，但由于數(shù)據(jù)倉庫的限制而無法取的情形，取數(shù)人員就像井底之蛙，只能看到數(shù)據(jù)倉庫讓你看到的東西。

這種現(xiàn)象普遍存在，因為系統(tǒng)早就在那里，你接手的是一個成熟的系統(tǒng)，現(xiàn)在開發(fā)都講封裝，但封裝在提供開發(fā)便利的時候，也讓我們的新手缺少了接觸本源信息的機會，從而扼殺了創(chuàng)造力，我們不是站在巨人的肩膀上，而是被限制在巨人的肩膀上，不敢去懷疑哪怕是半點。

要成為取數(shù)專家，特別強調的一點是一定要理解源系統(tǒng)數(shù)據(jù)，只有這樣才能理解數(shù)據(jù)倉庫模型的本質，才能更好的理解業(yè)務需求，通過刻意訓練，你成為了公司內唯一能夠連接起業(yè)務人員、倉庫人員、源系統(tǒng)開發(fā)人員的橋梁，你才可能成為專家。

專家不僅僅是滿足需求的人，還能主動創(chuàng)造需求和給出建議，比如能對于數(shù)據(jù)倉庫的模型提出改進意見，能對業(yè)務人員提出的需求進行質疑，這都來源于你對于數(shù)據(jù)認知的深度，但這樣的人，其實很少，因為需要刻意訓練。

舉個例子，公司內CRM菜單上的某個條目，你知道對應于源系統(tǒng)哪個數(shù)據(jù)嗎?并且影響到數(shù)據(jù)倉庫哪個模型嗎? 業(yè)務人員往往不管你從哪個系統(tǒng)取數(shù)，總是從看得見的地方提出問題和需求，如果你是普通的取數(shù)人員，一旦倉庫沒有對應數(shù)據(jù)，是否就不清楚如何作答，但專家不是，這就是差距。

當然取數(shù)人員不僅需要專，也需要廣，這又是為什么?

數(shù)據(jù)分析的價值在于多領域數(shù)據(jù)的融合分析，這就需要取數(shù)人員對于公司的大多領域數(shù)據(jù)要有充分的掌握，數(shù)據(jù)廣度往往決定了取數(shù)人員的視野，也決定了其發(fā)展?jié)摿Α?/p>

但取數(shù)還是比較容易陷入“做熟做專”困境，因為平常接觸到的取數(shù)需求可能大多比較狹隘，因此掌握更多領域的數(shù)據(jù)似乎無此必要，這也是專家和普通取數(shù)者的區(qū)別，但如果你對于數(shù)據(jù)有更多的大局觀，你就能適應不同場景的需求，就能融會貫通。

領導所以為領導，有一個特別重要的，就是它接觸的領域比你廣太多，對于取數(shù)的人來說，更廣的數(shù)據(jù)視野讓你取數(shù)游刃有余，有更大的發(fā)展?jié)摿Α?/p>

比如，你要做業(yè)務，可以，企業(yè)最需既懂數(shù)據(jù)也懂業(yè)務的綜合人才，你要做系統(tǒng)，可以，因為你懂源系統(tǒng)的數(shù)據(jù)，你要做模型，可以，廣褒的數(shù)據(jù)視野和強大的取數(shù)能力是你獨一無二的分析武器，你要做項目，可以，很多綜合的取數(shù)人員往往能走上BI項目經(jīng)理的崗位，你要做技術，也行，平臺要獲得成功始終要依賴業(yè)務和數(shù)據(jù)的深入理解。

做一個合格的取數(shù)人員很不容易，特別是要成為專家型的人物，那也是需要付出巨大的代價的，沒人逼你做這些又紅又專的事情，想選擇怎樣的道路，全賴自己。

但有一點是肯定的，如果你希望通過被動的接收一些取數(shù)需求就能獲得更大的提升，那基本也不可能，取數(shù)這個事情，2-3年就可以很熟很上手了，應付崗位訴求綽綽有余。但要讓業(yè)務人員對你建立起完全的信任，真心的稱呼你為專家，則是兩個境界的事情。

再次，取數(shù)要能自動化，但這個真得很難。

取數(shù)人員的使命是讓取數(shù)更快更準，這將越來越成為企業(yè)的核心競爭力，因為新的時代市場變化越來越快，取數(shù)越快越準，企業(yè)的決策成本就能越低。

除了增強取數(shù)人員本身能力，還有什么辦法讓取數(shù)越快呢?

那就是自動化，平臺化。

記住，取數(shù)不總是那么變幻萬千，它也是有一定規(guī)律的，這為自動化提供了可能，比如有兩類典型取數(shù)類型，營銷清單型和復雜分析型，營銷清單型，往往跟一線執(zhí)行相關，70-80%的規(guī)則是比較簡單的，通過配置往往就可以提供，復雜分析型，則規(guī)則比較難抽象，但也是有規(guī)律可循的。

不少企業(yè)，正是建立了自助取數(shù)平臺，通過提供前臺配置界面，從而讓業(yè)務人員自助完成取數(shù)工作，這能夠解決很大部分取數(shù)工作，好處很多，以XX運營商為例：

(1) 能自助解決至少50%以上的取數(shù)需求;

(2) 取數(shù)標準化，不易出錯;

(3) 速度更快，一般在30分鐘;

(4) 取數(shù)在線化，經(jīng)驗獲得傳承;

當然這類取數(shù)平臺建設比較艱難，除了體驗要好，性能要高，還要去做持續(xù)的運營，而且改變業(yè)務人員取數(shù)習慣很難。

但取數(shù)人員始終要有一顆自動化的心，以前筆者和同事堅持做這個平臺2-3年，最后算是推廣開，而這個平臺現(xiàn)在還活著，至少占據(jù)著公司40%的取數(shù)量。

作為一個IT人員，最大的褒獎應是自己倡導或建設的平臺有人仍然在用，并持續(xù)的發(fā)揮出價值吧，而筆者以前在5年里拉磨似的取的上千個數(shù)，還有誰會記得呢?

這個其實也帶點平臺化的思維，取數(shù)人員一定要努力形成取數(shù)的平臺生態(tài)，你發(fā)力的點不在一個個取數(shù)，而在于建設及運營好取數(shù)這個開放的平臺，不要僅僅是自己在這個平臺孤獨的跳舞，要能創(chuàng)造足夠好的數(shù)據(jù)模型，提供足夠好的操控體驗。

大數(shù)據(jù)時代，現(xiàn)在領先一點的都開始搞人工智能了，雖然我們是傳統(tǒng)企業(yè)，但也不要被拉的太遠，要有一顆“平臺”的心，關于取數(shù)自動化后面我會專門撰文，敬請期待。

創(chuàng)造環(huán)境，讓別人比你活得更好。

最后，在這個大數(shù)據(jù)時代，取數(shù)人員還是要與時俱進。

以前報表取數(shù)人員橫跨業(yè)務和數(shù)據(jù)，號稱是企業(yè)的綜合型人才，但現(xiàn)在已經(jīng)遠遠不夠了。

為什么?

大數(shù)據(jù)時代技術突飛猛進，隨著數(shù)據(jù)量的變化，IOE已經(jīng)無法走遍天下了，你要取數(shù)取得快，需要升級你的平臺引擎了，我能打造更牛逼的自助取數(shù)平臺嗎?最近也一直在問，我們傳統(tǒng)企業(yè)的取數(shù)挖掘，能不能全部搬到SPARK?

大數(shù)據(jù)結構越來越復雜，業(yè)務場景越來越多，SQL顯然不夠用了，我們的取數(shù)人員未來是不是要掌握各類語言，以適應不同的取數(shù)場景?比如，能否取出近3分鐘的上網(wǎng)流數(shù)據(jù)并統(tǒng)計給我?能否臨時爬蟲看看公司的負面輿情如何?

大數(shù)據(jù)時代更強調算法了，我們半路出家的取數(shù)人員，如果面對業(yè)務人員這個問題，該如何作答?能否給我取個數(shù)，看看杭州的公交司機有多少?這個還是傳統(tǒng)的取數(shù)嗎，是嗎?不是嗎?

沒必要去質疑業(yè)務人員，這個可能就是未來的臨時取數(shù)需求，取數(shù)人員，準備好了嗎?

注：傅一平是數(shù)據(jù)猿特邀專欄專家，更多相關文章請點擊閱讀

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。