油價太低怕裁員？也許大數(shù)據(jù)能救你一命

油價裁員大數(shù)據(jù) 石油工程師

知乎 | 2016-02-24 10:55

【數(shù)據(jù)猿導(dǎo)讀】新年伊始，油價跌到了2014年最高點的不到三成。僅休斯敦有十幾萬相關(guān)人員從業(yè)人員被裁。如果2016年低石油價格不回升到60美元/桶以上，還將有更多的油工失業(yè)。然而這最困難的時刻，大數(shù)據(jù)，這個似乎和石油行業(yè)完全不搭的新潮概念，也開始得到了石油企業(yè)的關(guān)注

新年伊始，康菲把整個深?？碧讲块T裁掉;BP裁掉其全球8分之一的員工;斯倫貝謝已經(jīng)成了“三輪貝謝”。如果2016年低石油價格不回升到60美元/桶以上，還將有更多的油工失業(yè)。這些接踵而至的壞消息讓我們意識到了資本主義世界的殘酷——尤其是在這個深受政治影響的行業(yè)里，技術(shù)從來不是鐵飯碗。然而這個時候，Big Data，卻開始得到了某些大大小小的石油企業(yè)的關(guān)注。大數(shù)據(jù)究竟會用怎樣的方式給石油工程帶來新的效率?它的出現(xiàn)，對傳統(tǒng)工程師到底是好消息還是壞消息?作為一個擔(dān)心未來被裁員的石油工程師，是否可以學(xué)習(xí)這方面的知識，讓自己跟上時代?

1. 首先，咱們簡單談?wù)勈裁词谴髷?shù)據(jù)。

很久很久以前，當(dāng)人們還沒有很好的技術(shù)收集數(shù)據(jù)的時候，人們在概率論的基礎(chǔ)上發(fā)明了統(tǒng)計學(xué)，試圖用精密的數(shù)學(xué)方法從有限的數(shù)據(jù)中提煉出有價值的結(jié)論。隨機采樣是統(tǒng)計學(xué)的基礎(chǔ)，曾經(jīng)取得過巨大的成功，但這種方式本身也存在著很多的缺陷——它的成功依賴于采樣的絕對隨機性，而這在很多case by case的工程領(lǐng)域是沒辦法實現(xiàn)的;同時，數(shù)據(jù)量的限制會讓人不得不限制變量的數(shù)量，而偏偏化工和石油這種過程工程領(lǐng)域的變量又出奇得多。這大大阻礙了石油工業(yè)從統(tǒng)計學(xué)中獲得收益的進(jìn)程。

如今，計算和存貯數(shù)據(jù)不再像過去那樣受限。網(wǎng)站被動收集大量數(shù)據(jù)，計算機可以輕易進(jìn)行處理。過去通過采樣而得到最大信息的時代已經(jīng)過去，我們進(jìn)入樣本=總體的時代。與之相對應(yīng)的，人們發(fā)明出了更靈活的machine learning的諸多算法。通過unsupervised learning，人們更多的是detect problem, but not ask why.

對于大數(shù)據(jù)的基本特征，有個“3V”的說法：

Volume: big data doesn't sample; it just observes and tracks what happens

Velocity: big data is often available in real-time

Variety: big data draws from text, images, audio, video; plus it completes missing pieces through data fusion

在大數(shù)據(jù)時代，人們發(fā)現(xiàn)。針對大數(shù)據(jù)的簡單算法要比針對小數(shù)據(jù)的復(fù)雜算法更有效。所以人們把精力逐漸放在如何收集更多數(shù)據(jù)而不是提高算法上。人們也開始研究新的數(shù)據(jù)儲存方式，來應(yīng)對大數(shù)據(jù)的三個特征。

最能代表這個轉(zhuǎn)變的，就是Hadoop的流行。Hadoop是與谷歌的MapReduce系統(tǒng)對應(yīng)的開源式分布系統(tǒng)的基礎(chǔ)架構(gòu)，它非常善于處理超大量的數(shù)據(jù)。通過并行計算，把大數(shù)據(jù)分布到小數(shù)據(jù)，然后發(fā)放到不同的節(jié)點進(jìn)行運算。通過map, shuffle, reduce的方式，極大地縮短運行速度。信用卡公司VISA通過Hadoop，能把處理時間從一個月縮短到13分鐘。

這一定會改變石油行業(yè)的操作規(guī)則。

2. 油氣行業(yè)數(shù)據(jù)分析舉例

上百年的操作與研究經(jīng)驗，讓油氣公司儲存了大量數(shù)據(jù)。然而，由于工程師慣有的物理建模思維，這些數(shù)據(jù)被偏頗和不充分地利用，因此巨量的數(shù)據(jù)并沒有提供等價的可供未來操作參考的信息。此外，很多具有潛在意義的數(shù)據(jù)往往因為得不到分析的要領(lǐng)而被無視和放棄。由于石油工程的對象本身的復(fù)雜性，過去的石油公司往往過分看重工程師的經(jīng)驗，卻沒有意識到這些“經(jīng)驗”本身就是大量數(shù)據(jù)在個體腦中積累和分析的結(jié)果。

在這種壟斷行業(yè)，人們對行業(yè)外新技術(shù)的敏感性總是慢半拍。然而，當(dāng)頁巖氣熱潮催生了大批中小石油公司，并緊接著受到了低油價的打擊之后，新技術(shù)的優(yōu)勢就突然變得矚目起來。油氣公司們也普遍意識到了數(shù)據(jù)分析對于提高作業(yè)效率的重要意義以及大數(shù)據(jù)在油氣行業(yè)的機遇。如今，一些大公司如BP已經(jīng)開始雇傭contractors為公司做數(shù)據(jù)分析;另一些企業(yè)，如Chevron和Schlumberger,建立了自己的數(shù)據(jù)分析團(tuán)隊。一些靈活的中小石油公司亦是紛紛試水。以本公司為例，不但businese analysts看到了數(shù)據(jù)分析在油氣的應(yīng)有前景，很多石油工程師也開始試圖自學(xué)掌握這方面的基本技能。

數(shù)據(jù)分析已經(jīng)在石油行業(yè)促成了許多成功案例。在BP某煉油廠里，無線感應(yīng)器遍布于整個工廠，形成了全流程無死角的網(wǎng)絡(luò)，能夠產(chǎn)生大量實時數(shù)據(jù)，監(jiān)測管道的承壓并和歷史數(shù)據(jù)進(jìn)行比對分析。這個新的數(shù)據(jù)網(wǎng)絡(luò)使BP能夠了解到，有些種類的原油比其他種類更具有緩慢而長期腐蝕性。這是此前數(shù)十年的經(jīng)驗也沒辦法發(fā)現(xiàn)和防止的;而現(xiàn)在，工程師們則可以根據(jù)這些數(shù)據(jù)對來料和操作流程進(jìn)行優(yōu)化。

How to improve production is kind of the biggest business question in oil company。即使是在同一區(qū)域打的不同水平井，油氣水的產(chǎn)量也大不相同。到底是那些變量造成的產(chǎn)量差異?雖然學(xué)界和工程界已經(jīng)提出了海量的經(jīng)驗和半經(jīng)驗的公式對油藏進(jìn)行描述，然而現(xiàn)場條件的復(fù)雜性和井下數(shù)據(jù)在開采前的未知性讓這些公式的可靠性僅僅略好于，if any，瞎猜。而如今，石油工程師們只要收集各種地質(zhì)，化學(xué)，區(qū)域，操作人員等數(shù)據(jù)以及過去的操作數(shù)據(jù)，數(shù)據(jù)科學(xué)家們就能夠通過回歸模型分析數(shù)百個可能變量，找到對油氣產(chǎn)量影響最大的十幾個變量，最終建立數(shù)值模型。這些模型盡管在物理上很難給出完美的解釋，然而卻能夠在特定區(qū)塊產(chǎn)生遠(yuǎn)好于各色理論模型的精度。

下面舉一些The Society of Petroleum Engineers(SPE)的數(shù)據(jù)庫中有關(guān)deta science 和 big data的會議文章，有興趣的同志們可以去看看~~

通過上圖可以看出，數(shù)據(jù)分析在artificial lift, drilling, completion, production, reservoir, 甚至是economy，都曾建立成功模型。我們把模型放到app里。工程師們可以實時看到數(shù)據(jù)和預(yù)測。通過對比歷史數(shù)據(jù)和科學(xué)模型預(yù)測分析，做出決策。

(編者按：你們真的是來幫忙的么?我怎么感覺是在搶我們的飯碗....)

3. 大數(shù)據(jù)和數(shù)據(jù)分析常用工具

大數(shù)據(jù)和數(shù)據(jù)分析常用工具分為三個種類?？梢暪ぞ?，分析工具和Hadoop工具。

在石油公司，可視工具用的最多的是Excel和Spotfire. Excel就不介紹了。Spotfire是一個data visualization and analysis software.

工程師們最喜歡這種可視化軟件。Spotfire可以連接數(shù)據(jù)庫，直接生成各種圖表，加標(biāo)簽，自帶線性回歸等基本統(tǒng)計模型。它最大的優(yōu)點有兩個。

1 TIBCO Enterprise Runtime for R (TERR)。平臺自帶R server?？梢宰约壕帉懫脚_不具備的算法。

2 TIBCO Web Map Service(WMS)。這個對石油公司太有幫助了。可以多層map layer重疊。顯示經(jīng)緯度，油井分布，油井參數(shù)各種。工程師們最愛。

分析工具常用的有R, Python, Matlab。這三種軟件各有優(yōu)點。R的算法包最全。Python速度較快，而且最近也有一大堆好使的算法包。Matlab是工程師們用的。所以在石油公司工作，這三種最好都要會。時不時就需要幫助工程師翻譯他們的Matlab算法到Python。

Hadoop工具最近也被陸續(xù)引進(jìn)了石油行業(yè)這種傳統(tǒng)公司。對real time analysis和mass data analysis有很大的幫助。常見的平臺有Cloudera, Amazon AWS和MapR.

Cloudera開發(fā)的比較好，用的公司多，培訓(xùn)很完善。Udacity上還有課。為本人學(xué)習(xí)Hadoop立下汗馬功勞?？上О硞児緵]用。

AWS 是Amazon產(chǎn)品。以前實習(xí)的小公司用過。便宜。功能也挺多的。但是當(dāng)時感覺不穩(wěn)定呢還。不知道現(xiàn)在怎么樣了。MapR目前也頗有一些公司在用。開源，功能完善，并便宜。我自己的感覺是其實這些平臺architecture都類似。并且大家都在努力搭建新的東西進(jìn)來。

4. 自學(xué)指南：我們是否可以自學(xué)大數(shù)據(jù)和數(shù)據(jù)科學(xué)的相關(guān)知識?

作為一名統(tǒng)計計算機背景的石油工人(編者按：不要套近乎，我要戳穿你是從生物系轉(zhuǎn)過來的老底!)，我真誠的建議石油工程師們也自學(xué)一些數(shù)據(jù)分析模型和軟件。優(yōu)勢是大大的。好基友在BP是reservoir engineer, 他現(xiàn)在負(fù)責(zé)的項目就是用Perl 做一些模型預(yù)測分析并開始自學(xué)python。

目前Massive Online Learning Website最著名的是Udacity, Coursera和edX?，F(xiàn)在大部分課，尤其是Specilization的課，都是付費模式。不過如果你還是學(xué)生，可以申請finiancial aid。這三大網(wǎng)站都可以免學(xué)費。上面的好課是無窮的。Coursera上面的課非常多且全。除了統(tǒng)計計算機，還有一大堆人文，數(shù)學(xué)，科技，歷史，法律課。通過上課，做作業(yè)，可以得到證書。證書可以導(dǎo)進(jìn)Linkedin. Udacity上主要是編程課和大數(shù)據(jù)課。Udacity和企業(yè)聯(lián)系廣泛。如上文所說，Cloudera就在上面有課。經(jīng)常老師會帶著你去各個公司轉(zhuǎn)轉(zhuǎn)，聽聽大牛的建議，非常有意思。另外Udacity上有mini degree，還有配TA。不滿意的話一段時間內(nèi)可以退學(xué)費。業(yè)界良心呀。edX也經(jīng)常和企業(yè)聯(lián)系。上面的好課非常多。從界面來看，我個人比較喜歡Coursera和Udacity，所以edX上的課不多。

下面推薦三個我覺得最好的machine learning入門課。并且分別用到了R, Python和Matlab。

Stanford Online。講解如何用R做Statistics Learning. 大牛講的超級清晰!用的教材是所有用R的machine learning里講的最清楚的。講解了R的data structure, regression, model selection, cross validation, 還有許多其他的常用算法。每章后面都配code。供你練習(xí)。

這是Coursera上華大的一個specialization.五門課加capstone。五門課分別為 Machine Learning Foundations: A Case Study Approach， Machine Learning: Regression， Machine Learning: Classification，Machine Learning: Clustering & Retrieval，Machine Learning: Recommender Systems & Dimensionality Reduction。講解如何用python 做machine learning。每課配課后練習(xí)。所有講解的算法都是目前最常用的。

最后一個良心推薦來自Coursera Stanford Machine Learning。老師是機器學(xué)習(xí)領(lǐng)域最大牛吳恩達(dá)。網(wǎng)上有網(wǎng)友筆記。還有課件。這門課用Matlab作為工具。講解超級清楚，淺顯易懂。有人上完這課就去Kaggle比賽拿到了好成績。吳大牛講解了機器學(xué)習(xí)的原理，步驟，常用算法，數(shù)據(jù)結(jié)構(gòu)。絕對從0開始。每門課有project。提供數(shù)據(jù)和coding結(jié)構(gòu)。我都把講義打印下來，平時工作記不清了就時時查閱。

5. 總結(jié)

現(xiàn)在石油價格這個樣子，各大公司裁員血流成河。如何才能更有競爭力?我覺得是需要更diverse 的skillset。學(xué)數(shù)據(jù)分析和編程是一條好路。作為傳統(tǒng)行業(yè)，油氣公司需要更多的數(shù)據(jù)分析專家來提高產(chǎn)量，降低成本。身邊已經(jīng)有朋友在被裁員后通過data science 的技能快速找到新工作。希望你找到工作。希望你不會被裁。更希望你擁有更全面的技術(shù)，才能立于不敗之地。

來源：知乎

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。