新人出招：一位小白如何慢慢了解神秘的大數(shù)據(jù)？

小白大數(shù)據(jù)

小胖 | 2017-06-16 14:03

【數(shù)據(jù)猿導(dǎo)讀】如何從一個大數(shù)據(jù)小白，開始慢慢了解神秘的大數(shù)據(jù)，與數(shù)據(jù)同事通力合作進行畫像標(biāo)簽的清洗輸出，設(shè)計用戶畫像分析工具和可視化產(chǎn)品？

去年下半年，我開始負(fù)責(zé)公司的用戶畫像工作，經(jīng)歷了公司用戶畫像從0到1的搭建過程。從一個大數(shù)據(jù)小白，開始慢慢了解神秘的大數(shù)據(jù)，與數(shù)據(jù)同事通力合作進行畫像標(biāo)簽的清洗輸出，設(shè)計用戶畫像分析工具和可視化產(chǎn)品。

本文不是對大數(shù)據(jù)千篇一律的感悟，而是我一年內(nèi)工作積累的干貨，希望對各位有幫助。

一、大數(shù)據(jù)是什么

大數(shù)據(jù)，big data，《大數(shù)據(jù)》一書對大數(shù)據(jù)這么定義，大數(shù)據(jù)是指不能用隨機分析法(抽樣調(diào)查)這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。

這句話至少傳遞兩種信息：

1、大數(shù)據(jù)是海量的數(shù)據(jù)

2、大數(shù)據(jù)處理無捷徑，對分析處理技術(shù)提出了更高的要求

二、大數(shù)據(jù)的處理流程

下圖是數(shù)據(jù)處理流程：

1、底層是數(shù)以千億計的數(shù)據(jù)源，數(shù)據(jù)源可以是SCM(供應(yīng)鏈數(shù)據(jù))，4PL(物流數(shù)據(jù))，CRM(客戶數(shù)據(jù))，網(wǎng)站日志以及其他的數(shù)據(jù)

2、第二層是數(shù)據(jù)加工層，數(shù)據(jù)工程師對數(shù)據(jù)源按照標(biāo)準(zhǔn)的統(tǒng)計口徑和指標(biāo)對數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)化、裝載(整個過程簡稱ELT)

3、第三層是數(shù)據(jù)倉庫，加工后的數(shù)據(jù)流入數(shù)據(jù)倉庫，進行整合和存儲，形成一個又一個數(shù)據(jù)集市。

數(shù)據(jù)集市，指分類存儲數(shù)據(jù)的集合，即按照不同部門或用戶的需求存儲數(shù)據(jù)。

4、第四層是BI(商業(yè)智能)，按照業(yè)務(wù)需求，對數(shù)據(jù)進行分析建模、挖掘、運算，輸出統(tǒng)一的數(shù)據(jù)分析平臺

5、第五層是數(shù)據(jù)訪問層，對不同的需求方開放不同的數(shù)據(jù)角色和權(quán)限，以數(shù)據(jù)驅(qū)動業(yè)務(wù)。

大數(shù)據(jù)的量級，決定了大數(shù)據(jù)處理及應(yīng)用的難度，需要利用特定的技術(shù)工具去處理大數(shù)據(jù)。

三、大數(shù)據(jù)處理技術(shù)

以最常使用的hadoop為例：

Hadoop是Apache公司開發(fā)的一個開源框架,它允許在整個集群使用簡單編程模型計算機的分布式環(huán)境存儲并處理大數(shù)據(jù)。

集群是指，2臺或2臺以上服務(wù)器構(gòu)建節(jié)點，提供數(shù)據(jù)服務(wù)。單臺服務(wù)器，無法處理海量的大數(shù)據(jù)。服務(wù)器越多，集群的威力越大。

Hadoop類似于一個數(shù)據(jù)生態(tài)圈，不同的模塊各司其職。下圖是Hadoop官網(wǎng)的生態(tài)圖。

小白_大數(shù)據(jù)-1

Hadoop的LOGO是一只靈活的大象。關(guān)于LOGO的來源，網(wǎng)上眾說紛紜，有人說，是因為大象象征龐然大物，指代大數(shù)據(jù)，Hadoop讓大數(shù)據(jù)變得靈活。而官方蓋章，LOGO來源于創(chuàng)始人Doug Cutting的孩子曾為一個大象玩具取名hadoop。

從上圖可以看出，Hadoop的核心是HDFS,YARN和Map Reduce，下面和大家講一講，幾個主要模塊的含義和功能。

1、HDFS(分布式文件存儲系統(tǒng))

數(shù)據(jù)以塊的形式，分布在集群的不同節(jié)點。在使用HDFS時，無需關(guān)心數(shù)據(jù)是存儲在哪個節(jié)點上、或者是從哪個節(jié)點從獲取的，只需像使用本地文件系統(tǒng)一樣管理和存儲文件系統(tǒng)中的數(shù)據(jù)。

2、Map Reduce(分布式計算框架)

分布式計算框架將復(fù)雜的數(shù)據(jù)集分發(fā)給不同的節(jié)點去操作，每個節(jié)點會周期性的返回它所完成的工作和最新的狀態(tài)。大家可以結(jié)合下圖理解Map Reduce原理：

小白_大數(shù)據(jù)-2