趣味吐槽：一個“碼農(nóng)”眼中的大數(shù)據(jù)

吐槽碼農(nóng) 大數(shù)據(jù)

貴州人才信息網(wǎng) | 2016-06-12 11:21

【數(shù)據(jù)猿導讀】大數(shù)據(jù)，自從這個“高大上”的概念出現(xiàn)，便像病毒一樣蔓延，以至于對于我們這種搞IT的人員來說，不了解這個概念似乎都不好意思承認自己是干這一行的，估計各大軟件公司也都已經(jīng)或者準備涉足這個領域

大數(shù)據(jù)，自從這個“高大上”的概念出現(xiàn)，便像病毒一樣蔓延，以至于對于我們這種搞IT的人員來說，不了解這個概念似乎都不好意思承認自己是干這一行的，估計各大軟件公司也都已經(jīng)或者準備涉足這個領域。本人所在的公司也一樣，近期一直強行推廣相關的技術。不過，不清楚我們的那些大BOSS們到底是裝懂呢，還是裝懂呢，還是裝懂呢，總感覺這種推廣的方式有些偏離了大數(shù)據(jù)的實際含義。

本人自認為一直從事著數(shù)據(jù)處理方面的工作，長期以來，工作的流程一直是：各運營商會提供各自的接口(比如FTP)，從接口處取得各種類型的文件(例如csv格式、xml格式，甚至包括二進制文件)，解析文件并將所需要的信息取出后load到數(shù)據(jù)庫中;入庫后，有些數(shù)據(jù)會針對時間粒度或者空間粒度進行匯總處理;然后，對于本人來說就木有然后了，會有另外一批人員進行上層界面的開發(fā)，根據(jù)數(shù)據(jù)庫中的原始數(shù)據(jù)或者匯總后的數(shù)據(jù)，做出一個很炫的界面以顯示這些信息，并提供給客戶使用。

之所以要推廣大數(shù)據(jù)相關的技術，是因為需要處理的數(shù)據(jù)量越來越大，而且以后還會有繼續(xù)增大的趨勢;而由于數(shù)據(jù)采集的實時性，需要對處理的效率有一定的要求(一般數(shù)據(jù)是每小時都會生成的，如果一次處理在一小時只能還無法完成，那結(jié)果可想而知)?；谶@些原因，引進了大數(shù)據(jù)相關的諸如Hadoop的技術。然而，這就是唯一的區(qū)別，僅僅是將數(shù)據(jù)處理部分從原先的程序改成通過那種“高科技”的方式實現(xiàn)，僅有的區(qū)別就是直接得到匯總后的結(jié)果并將其導入到數(shù)據(jù)庫中。處理后，相關的數(shù)據(jù)將徹底完成歷史使命，并于一段時間以后“灰飛煙滅”。

這就是傳說中的大數(shù)據(jù)乎?深表懷疑，也許充其量就是數(shù)據(jù)量比較大的數(shù)據(jù)罷了。

于是乎，在工作之余，研究了一下傳說中的“大數(shù)據(jù)”，發(fā)現(xiàn)它確實不是這個樣子的，它是一種全新的思維模式，甚至跟數(shù)據(jù)量的大小本身沒有半毛錢關系。與此同時，也深深的感受到，長時間在這么一個安逸的工作環(huán)境下，自己確實已經(jīng)有些out了。也許，真到了應該充充電、全面提升自己的時候了。

不過，出于多年以來的習慣，總是有反權威的傾向，喜歡按照自己的方式理解，而不是對所有理論完全照搬;而且，總喜歡將自己的理解用一種完全另類的方式表達出來，于是，才有了下面的文字。在此聲明，本作品純屬自娛自樂，如果其中的某些部分對各位有那么一丁點兒幫助，能夠成為各位的非物質(zhì)文化遺產(chǎn)，那也算功德一件;如果感覺沒有任何實際的價值，那也不要浪費各位的寶貴時間，直接無視即可。當然，由于是初學者，理解上勢必會有一些偏差或者不足，所以也歡迎各位能夠以“就事論事”的方式進行學術上的探討。

來源：貴州人才信息網(wǎng)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。