国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

數(shù)據(jù)工程師該如何入門？需要幾個階段

數(shù)據(jù) 工程師入門階段

36大數(shù)據(jù) | 2017-09-20 11:17

【數(shù)據(jù)猿導讀】數(shù)據(jù)工程師該如何入門?話題有點大，而且每個人的理解都很不一樣，因此我們會先限定一下會對這個話題感興趣的人群。做了幾年其它軟件開發(fā)，發(fā)現(xiàn)大數(shù)據(jù)方向更有前景

前言

最近發(fā)現(xiàn)身邊有不少小伙伴想轉行做數(shù)據(jù)工程師，聊天的過程中發(fā)現(xiàn)大家對該如何入門有很多迷茫的地方，周末寫篇博客記錄一下。

哪些人適合繼續(xù)閱讀

數(shù)據(jù)工程師該如何入門話題有點大，而且每個人的理解都很不一樣，因此我們會先限定一下會對這個話題感興趣的人群：

做了幾年其它軟件開發(fā)，發(fā)現(xiàn)大數(shù)據(jù)方向更有前景

在校的童鞋，畢業(yè)后想搞數(shù)據(jù)開發(fā)，但是學校沒相關課程

沒搞過軟件開發(fā)，對之前的工作沒信心想搞互聯(lián)網(wǎng)，發(fā)現(xiàn)大數(shù)據(jù)方向挺不錯

本文結構

前面已經(jīng)限定了一個大致的話題范圍，下面介紹一下主要的文章結構：

數(shù)據(jù)工程師的日常工作，或者是什么是數(shù)據(jù)工程師

數(shù)據(jù)工程師需要具備什么技能

該怎么學

0x01 數(shù)據(jù)工程師的技能樹

1. 什么是數(shù)據(jù)工程師

數(shù)據(jù)工程師這個概念其實很模糊，不同的人和公司對它賦予的含義也區(qū)別很大，感興趣的可以看一下我前面的幾篇文章。在這里，我們大概聊一下一般意義上的數(shù)據(jù)工程師在工作中會做什么

集群運維：安裝、測試、運維各種大數(shù)據(jù)組件

數(shù)據(jù)開發(fā)：細分一點的話會有ETL工程師、數(shù)據(jù)倉庫工程師等

數(shù)據(jù)系統(tǒng)開發(fā)：偏重Web系統(tǒng)開發(fā)，比如報表系統(tǒng)、推薦系統(tǒng)等

數(shù)據(jù)_工程師_入門_階段-1

這里面有很多內容其實是十分重合的，下面大致聊一下每一塊內容大致需要學什么，以及側重點。

2. 集群運維

數(shù)據(jù)工程師，基本上是離不開集群搭建，比如hadoop、Spark、Kafka，不要指望有專門的運維幫你搞定，新組件的引入一般都要自己來動手的。

因此這就要求數(shù)據(jù)工程師了解各種大數(shù)據(jù)的組件。

由于要自己的安裝各種開源的組件，就要求數(shù)據(jù)工程師要具備的能力： Linux 。要對Linux比較熟悉，能各種自己折騰著玩。

由于現(xiàn)在的大數(shù)據(jù)生態(tài)系統(tǒng)基本上是 JVM 系的，因此在語言上，就不要猶豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要學的很深，Scala就看情況了。

3. ETL

ETL 在大數(shù)據(jù)領域主要體現(xiàn)在各種數(shù)據(jù)流的處理。這一塊一方面體現(xiàn)在對一些組件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是編程語言的需要，Java、Shell和Sql是基本功。

4. 系統(tǒng)開發(fā)

我們大部分的價值最后都會由系統(tǒng)來體現(xiàn)，比如報表系統(tǒng)和推薦系統(tǒng)。因此就要求有一定的系統(tǒng)開發(fā)能力，最常用的就是 Java Web 這一套了，當然Python也是挺方便的。

需要注意的是，一般數(shù)據(jù)開發(fā)跑不掉的就是各種提數(shù)據(jù)的需求，很多是臨時和定制的需求，這種情況下， Sql 就跑不掉了，老老實實學一下Sql很必要。

0x02 如何入門

前面提到了一些數(shù)據(jù)工程師會用到的技能樹，如果希望了解更多，可以看一下《No.3 漫談數(shù)據(jù)開發(fā)工程師的技術廣度》。

下面給一個入門的建議，完全個人意見。

1. 了解行業(yè)情況

剛開始一定要了解清楚自己和行業(yè)的情況，很多人根本就分不清招聘信息中的大數(shù)據(jù)和數(shù)據(jù)挖掘的區(qū)別就說自己要轉行，其實是很不負責的。不要總是趕熱點，反正我就是經(jīng)常被鄙視做什么大數(shù)據(jù)開發(fā)太Low，做數(shù)據(jù)就要做數(shù)據(jù)挖掘，不然永遠都是水貨。

2. 選擇學習途徑

如果真是清楚自己明確地想轉數(shù)據(jù)開發(fā)了，要考慮一下自己的時間和精力，能拿出來多少時間，而且在學習的時候最好有人能多指點下，不然太容易走彎路了。

在選擇具體的學習途徑時，要慎重一點，有幾個選擇：

自學

報班

找人指點

別的不說了，報班是可以考慮的，不要全指望報個輔導班就能帶你上天，但是可以靠他幫你梳理思路。如果有專業(yè)從事這一行的人多幫幫的話，是最好的。不一定是技術好，主要是可溝通性強。

3. 學習路線

學習路線，下面是一個大致的建議：

第一階段

先具備一定的Linux和Java的基礎，不一定要特別深，先能玩起來，Linux的話能自己執(zhí)行各種操作，Java能寫點小程序。這些事為搭建Hadoop環(huán)境做準備。

學習Hadoop，學會搭建單機版的Hadoop，然后是分布式的Hadoop，寫一些MR的程序。