大數(shù)據(jù)專家高揚(yáng)：程序猿一定要學(xué)大數(shù)據(jù)嗎？

大數(shù)據(jù) 高揚(yáng) 程序猿數(shù)據(jù)分析編程語言

高揚(yáng) | 2016-07-26 11:05

【數(shù)據(jù)猿導(dǎo)讀】大數(shù)據(jù)這種產(chǎn)業(yè)之所以讓人著迷，之所以被社會(huì)所看好，主要的原因是大數(shù)據(jù)產(chǎn)業(yè)最終的目標(biāo)是為了通過大范圍數(shù)據(jù)的交換與寫作分析消除不確定性，減小試錯(cuò)成本——這個(gè)才是根本

大數(shù)據(jù)專家高揚(yáng)：程序猿一定要學(xué)大數(shù)據(jù)嗎？

衡量職場(chǎng)發(fā)展的指標(biāo)

首先，我們都是職場(chǎng)人，在職場(chǎng)中摸爬滾打直到退休。我們都渴望去做有價(jià)值的工作，因?yàn)楣ぷ髟接袃r(jià)值，自己的地位越穩(wěn)固，收入越豐厚，把這個(gè)當(dāng)做追求目標(biāo)其實(shí)無可非議——當(dāng)然追求其他信仰或情懷的朋友除外。在職場(chǎng)中，我們從年輕的時(shí)候開始就有類似的困惑，我們應(yīng)該做什么好呢？做什么更有利長(zhǎng)期發(fā)展呢？做什么會(huì)讓自己工作更穩(wěn)定呢？究竟什么工種、什么工作能解決我的需求和困擾呢？

從中長(zhǎng)期來看，肯定是那些積累性好，或者越老越吃香的工作比較讓人心儀，這應(yīng)該不難理解。什么是積累性好呢？那就是，淘汰慢，經(jīng)驗(yàn)積累容易形成壁壘，不容易被人輕易趕上。

很多程序員沒有安全感的原因很簡(jiǎn)單，比如Python語言或者Java語言，你工作了10年的Java程序員和一個(gè)5年的差距有多大呢？5年和3年的呢？根據(jù)我的經(jīng)驗(yàn)（或許不夠全面，但是能說明一定的問題），對(duì)于那些工作很努力且舍得動(dòng)腦子的程序員朋友來說，工作的前一兩年的進(jìn)步速度是最快的，可以說是陡升，這時(shí)候的積累主要是對(duì)語言功能方面的。語言怎么使用，什么特性，用什么類實(shí)現(xiàn)什么功能，這些技巧在這個(gè)時(shí)間里相對(duì)容易積累。3～5年的時(shí)候開始偏重架構(gòu)，怎么設(shè)計(jì)類的繼承關(guān)系會(huì)讓重用更為合理，工程改動(dòng)量小，維護(hù)成本低，執(zhí)行速度快，資源消耗小……5年往后則是在3～5年的基礎(chǔ)上更為熟練，一些更注重架構(gòu)的人可能會(huì)去研究虛擬機(jī)的特性，并逐步在很多細(xì)節(jié)性的問題上有更多的發(fā)言權(quán)，例如堆棧的分配、線程的調(diào)用特點(diǎn)等。

但是我們觀察一下不難發(fā)現(xiàn)，雖然從時(shí)間上看，后面的進(jìn)步看上去非常牛，非常顯檔次，但是在具體實(shí)際完成功能性任務(wù)的時(shí)候顯然幫不上什么大忙。這樣的人才最后會(huì)成為金牌架構(gòu)師的人也比較少。一是因?yàn)楣┬璧搅诉@個(gè)環(huán)節(jié)也就進(jìn)入末端，架構(gòu)師的需求和程序員的需求顯然不是正比關(guān)系。二是還需要自己花極大的力氣去做修煉，成材率還低，這是階段個(gè)投入產(chǎn)出比不那么誘人的工作。而如果一旦由于主客觀原因不能成為架構(gòu)師，而仍然是一名程序員的話，那再和年輕的小朋友們競(jìng)爭(zhēng)，就顯得有點(diǎn)捉襟見肘了。尤其是在項(xiàng)目上需要用到新的語言或者技術(shù)的時(shí)候，優(yōu)勢(shì)從何而來呢，這個(gè)問題就給很多老程序員造成了困擾。

這個(gè)問題也并不能說無解，多年的程序員生涯，如果一個(gè)人肯動(dòng)腦子的話，肯定還是能夠總結(jié)出不少有價(jià)值的東西，例如很多有用的代碼片段，以及很多有用的設(shè)計(jì)模式，很多輔助自己工作的工具，很多總結(jié)出來的設(shè)計(jì)技巧等等。這些萬變不離其宗的東西會(huì)幫助一個(gè)程序員在職場(chǎng)競(jìng)爭(zhēng)中獲得一定的優(yōu)勢(shì)，但是時(shí)間再久一些，比如到了15年或者20年的時(shí)候，這些東西是不是還能跟10年經(jīng)驗(yàn)左右的人抗衡呢？這又是個(gè)問題了。

說到這里，我只是想懇切地提醒各位程序員朋友，注意積累的問題，以及注意要給自己積蓄足夠的能量讓自己蛻變，化繭成蝶。

大數(shù)據(jù)產(chǎn)業(yè)為何讓人如此著迷

再回過頭來說，程序員究竟要不要學(xué)習(xí)大數(shù)據(jù)的事情。我覺得思路和剛才差不多，那就是看看在大數(shù)據(jù)學(xué)習(xí)的過程中，能不能給我們帶來這種積累性的優(yōu)勢(shì)。這種優(yōu)勢(shì)越大，我們就越值得學(xué)習(xí)，反之則不必考慮。那么大數(shù)據(jù)是這樣一種東西嗎？

我們說，大數(shù)據(jù)這種產(chǎn)業(yè)之所以讓人著迷，之所以被社會(huì)所看好，主要的原因是大數(shù)據(jù)產(chǎn)業(yè)最終的目標(biāo)是為了通過大范圍數(shù)據(jù)的交換與寫作分析消除不確定性，減小試錯(cuò)成本——這個(gè)才是根本。

大數(shù)據(jù)相關(guān)的工種里面粗分有開發(fā)崗、架構(gòu)崗、分析崗三種。開發(fā)崗和其它語言種類的開發(fā)崗一樣，是對(duì)語言工具或者工程性工具的使用，比如Hadoop的使用等。架構(gòu)崗側(cè)重的是根據(jù)項(xiàng)目特性的不同進(jìn)行性能調(diào)優(yōu)和穩(wěn)定性調(diào)優(yōu)等工作。分析崗則是注重對(duì)數(shù)據(jù)的分析和解讀，以及歸納和預(yù)測(cè)等。

程序員朋友們?cè)趯W(xué)習(xí)大數(shù)據(jù)的時(shí)候，容易迷茫，現(xiàn)在的框架非常多Hadoop、Spark、Storm、Scikit-learn、Mahout、TensorFlow等，究竟應(yīng)該學(xué)哪個(gè)才對(duì)自己的職業(yè)生涯更有價(jià)值呢？我認(rèn)為，在這個(gè)里面，除了剛剛我們說的積累性好這個(gè)特點(diǎn)我們需要把握以外，還有四個(gè)字需要注意，那就是“揚(yáng)長(zhǎng)避短”。

對(duì)于這些開源框架，尤其是比較火熱的開源框架，是在業(yè)界廣泛獲得認(rèn)可的，生命周期長(zhǎng)，供需旺盛，通常可以作為普通程序員切入的落腳點(diǎn)。對(duì)于Hadoop、Spark這些工具的使用，其實(shí)已經(jīng)是在接觸大數(shù)據(jù)開發(fā)這一工種了。學(xué)好用好一兩種流行框架，謀生肯定不是問題了。

對(duì)于分析能力比較好的程序員，尤其是數(shù)學(xué)比較好的程序員，可以考慮去做機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）相關(guān)的一些框架和項(xiàng)目，這類項(xiàng)目的積累性比前面工程性的Hadoop和Spark甚至要更好。從中長(zhǎng)期來看，在機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)方面的發(fā)展是能夠作出一個(gè)垂直領(lǐng)域的“無人設(shè)備”的--凡是“無人”的東西都是改進(jìn)和發(fā)展生產(chǎn)力的，都是會(huì)被自己所服務(wù)的行業(yè)所接納的東西。

而對(duì)于項(xiàng)目管理以及其他更高級(jí)別的職場(chǎng)人來說，大數(shù)據(jù)能夠帶給你的就是更多的思維層面和辯證看待數(shù)據(jù)的邏輯，而且在普及性學(xué)習(xí)的工作中，你會(huì)了解到哪些技術(shù)能做什么，有什么優(yōu)勢(shì)。這樣的知識(shí)對(duì)于一個(gè)管理者對(duì)當(dāng)前技術(shù)形勢(shì)作出判斷，估算難度和成本，以及開闊創(chuàng)新中的想象力都是大有裨益的，同樣是有重要積累意義的東西。

【作者簡(jiǎn)介】高揚(yáng)，金山軟件西山居資深大數(shù)據(jù)架構(gòu)師與大數(shù)據(jù)專家，有多年編程經(jīng)驗(yàn)（多年日本和澳洲工作經(jīng)驗(yàn)）和多年大數(shù)據(jù)架構(gòu)設(shè)計(jì)與數(shù)據(jù)分析、處理經(jīng)驗(yàn)，目前負(fù)責(zé)西山居的大數(shù)據(jù)產(chǎn)品市場(chǎng)戰(zhàn)略與產(chǎn)品戰(zhàn)略。專注于大數(shù)據(jù)系統(tǒng)架構(gòu)以及變現(xiàn)研究。擅長(zhǎng)數(shù)據(jù)挖掘、數(shù)據(jù)建模、關(guān)系型數(shù)據(jù)庫應(yīng)用以及大數(shù)據(jù)框架Hadoop、Spark、Cassandra、Prestodb等的應(yīng)用。負(fù)責(zé)西山居紫霞系統(tǒng)--大數(shù)據(jù)日志處理系統(tǒng)的系統(tǒng)架構(gòu)與設(shè)計(jì)工作。

來源：大數(shù)據(jù)mp

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。