大數據時代的氣象服務應用分析
中國天氣網 | 2017-09-07 09:07
【數據猿導讀】 氣象大數據蘊含豐富的應用和研究價值,可以提供各類氣象服務,包括氣象部門內部業(yè)務服務、科研服務和公眾服務等。氣象部門內部業(yè)務服務主要指針對氣象部門工作人員提供的各種服務,如氣象數據查詢、預報產品制作、氣象數據入庫等功能;而氣象科研服務主要指利用氣象大數據進行數值分析

氣象大數據蘊含豐富的應用和研究價值,可以提供各類氣象服務,包括氣象部門內部業(yè)務服務、科研服務和公眾服務等。氣象部門內部業(yè)務服務主要指針對氣象部門工作人員提供的各種服務,如氣象數據查詢、預報產品制作、氣象數據入庫等功能;而氣象科研服務主要指利用氣象大數據進行數值分析、氣象災害風險評估等升值服務功能;公共氣象服務主要指對氣象觀測大數據進行處理和分析,進而惠及人們日常生產、生活以及其他行業(yè),包括海洋、農業(yè)、交通等。目前對大數據管理、高可靠存儲、分析、處理以及檢索等面臨著著巨大的技術挑戰(zhàn)。
如何看待大數據
2015年9月5日,《國務院關于印發(fā)促進大數據發(fā)展行動綱要的通知》正式發(fā)布,在全社會引起廣泛影響。在此前后,社會上的大數據浪潮洶涌澎湃,推動和裹挾著每一個行業(yè)、部門和企業(yè)。一些單位和部門急于“搶占大數據制高點”,紛紛出臺了一系列政策、措施、機構和項目;氣象部門也未能例外,以氣象大數據為名上項目、搞工程的苗頭已經出現。如何認識大數據,大數據是否適用于氣象部門,以及適用于哪些領域,是氣象部門決策機構需要思考、分析和綜合歸納的問題,因為這些問題的厘清有助于盡可能避免工作中的盲目性并減少失誤。
氣象大數據服務框架
(1)基礎設施層?;A設施層主要用于存放和處理氣象大數據的物理設施,包括主機、存儲、網絡設備、照明系統(tǒng)、制冷系統(tǒng)以及數據中心場地等。在云計算環(huán)境下,需要對原有的基礎設施層硬件進行云化處理,形成基礎設施資源池,并且基礎設施池的計算資源和存儲資源可以動態(tài)伸縮地提供給氣象內部業(yè)務人員和科研人員使用,以實現資源的整合,大大提高資源利用率。
(2)平臺層。平臺層主要是利用云計算中的主要技術在基礎設施層的基礎上實現平臺的搭建??梢允褂胔adoop分布式文件系統(tǒng)實現分布式文件冗余存儲;使用分布式數據庫HBase實現動態(tài)氣象大數據分布式數據索引;使用分布式計算模型MapReduce實現數據并行計算;使用數據倉庫Hive實現靜態(tài)氣象數據的存儲與便捷索引。平臺層搭建完成后,能夠為應用層提供技術支撐。
(3)應用層。應用層主要利用平臺層提供的軟件工具進行應用的開發(fā)(存儲與數據處理相關),主要包括站點監(jiān)控等功能、云平臺監(jiān)控與管理、氣象服務。
站點監(jiān)控主要是對氣象監(jiān)測點以及監(jiān)測設備進行管理和監(jiān)控,包括站點信息管理、設備信息管理、數據源狀態(tài)監(jiān)控等;云平臺監(jiān)控與管理主要對區(qū)域氣象數據中心的服務器節(jié)點進行動態(tài)監(jiān)控與管理,包括節(jié)點管理、能耗監(jiān)控、節(jié)點信息管理等;按照不同的應用需求提供氣象服務,包括部門業(yè)務功能(數據查詢、數據審核、數據入庫等)、預報產品制作、公共氣象服務(產品發(fā)布、災害預警等)、科研服務(數值預報等)。
(4)大數據服務層。大數據服務層主要根據應用層開發(fā)的不同種類應用提供氣象大數據服務。如站點監(jiān)控與云平臺監(jiān)控這2個功能,主要利用基于HBase的實時數據檢索為氣象部門提供氣象業(yè)務服務;而數值預報與預報產品的制作可以利用分布式數據處理模型MapReduce進行氣象數據分布式處理,進而提供氣象科研服務以及公共氣象服務等。
(5)用戶層。氣象大數據服務的用戶主要包括氣象行業(yè)內部人員(業(yè)務部門)、氣象科研人員(科研部門)、相關行業(yè)人員(其他行業(yè))。氣象行業(yè)內部人員可以通過氣象行業(yè)內部網絡訪問氣象大數據服務;氣象科研人員通過互聯(lián)網獲取部分權限數據;而相關行業(yè)人員可以通過互聯(lián)網獲取相關預報產品。
計算剖析是氣候部門常用的方法
探求科學機理是非常艱難的。在沒有把握科學機理的情況下,計算剖析是常用的預告方法,如氣候范疇里的氣候計算猜測。這種經過對長期序列氣候觀測材料進行計算剖析,以歷史上類似氣候現象所發(fā)作的氣候(或氣候)改變的概率為根據,進行氣候猜測的方法,自氣候學科發(fā)端之日起,便一直在選用,已達數十年之久。因而“大數據”所推崇的計算剖析方法,氣候部門早在數十年前便已全部運用,并不生疏。
但這并不意味著氣候部門在該范疇的科學研究停步于此。事實上,現在根據動力框架的氣候數值預告形式(尤其是調集預告形式等)等方法一直在積極地實驗和測驗運用當中,意圖就在于探究可以有用發(fā)現氣候改變規(guī)則(即所謂因果關系)的路徑和方法——雖然氣候計算猜測方法仍在運用當中?,F在數值氣候預告和數值氣候猜測中所很多選用的調集預告方法,即是“因果”與“有關”、機理與計算之間有機聯(lián)系的一種測驗。
建議
所有的工作,都是以人的思維成果而指導的。大數據技術只是眾多工具中的一類,工具沒有自行主動解決問題的能力,工具不可能解決連人都沒有想清楚的問題,解決問題的辦法必須靠人的思維;人想清楚了,則相應的處理流程可由信息系統(tǒng)重復運作,以提高工作效率。如果一項工作,連人自己都還沒有想清楚,則此時的大數據非但不能幫忙,反而可能會把事情搞得一團糟。因此,氣象大數據應用的開展,人才條件是決定其成敗的要素之一。
具體地說,實施氣象大數據應用,除上述幾項基礎工作外,在人才隊伍方面還需具備以下2個基礎條件:
(1)建立起對應于大數據管理運營的數據管理中心的組織架構。沒有一個相對完整和專業(yè)的數據管理團隊,是難以發(fā)揮出大數據分析的功效的。
(2)建立起一支精干的數據分析團隊,并擁有一個靈活適用的數據分析技術平臺。
氣象大數據服務為氣象行業(yè)工作者提供了氣象服務的方向和目標,也是國家信息化進程中的一個重要分支。利用氣象大數據制作氣象服務產品可以惠及人們日常生活的方方面面。MapReduce分布式處理技術可以有效地適用于氣象大數據的處理與分析。該研究設計的云環(huán)境下的氣象大數據服務框架為氣象行業(yè)大數據服務奠定了基礎。云環(huán)境下氣象大數據的服務與應用可以加速氣象行業(yè)信息化進程,加速氣象部門信息共享,提高氣象部門氣象服務能力,有效提升公眾對于氣象服務的滿意度,因此應是今后氣象服務的重中之重。
來源:中國天氣網
刷新相關文章
我要評論
活動推薦more >
- 2018 上海國際大數據產業(yè)高2018-12-03
- 2018上海國際計算機網絡及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
- 第五屆FEA消費金融國際峰會2018-06-21
- “無界區(qū)塊鏈技術峰會2018”2018-06-14