探秘氣象大數(shù)據(jù)：模式數(shù)據(jù)是氣象大數(shù)據(jù)之魂

大數(shù)據(jù) 氣象大數(shù)據(jù) 模式數(shù)據(jù) 實況數(shù)據(jù)

數(shù)據(jù)觀綜合 | 2016-02-23 16:41

【數(shù)據(jù)猿導讀】有人說，氣象部門的主要職責是預報天氣，還有人說，在“大數(shù)據(jù)時代”這個概念出現(xiàn)前，最名副其實的大數(shù)據(jù)應該數(shù)氣象數(shù)據(jù)。那么，在氣象部門如何開展大數(shù)據(jù)工作呢？氣象大數(shù)據(jù)如何采集、氣象數(shù)據(jù)如何傳輸?shù)葐栴}將在文中得到解答

探秘氣象大數(shù)據(jù)：模式數(shù)據(jù)是氣象大數(shù)據(jù)之魂

很多人認為，氣象部門的主要職責是預報天氣。然而，在世界各國的經濟生活中，不少行業(yè)，如農業(yè)、交通業(yè)、建筑業(yè)、旅游業(yè)等，無一例外與天氣的變化息息相關，隨著氣象在社會生產生活中越來越受重視，氣象業(yè)務也在不斷地拓寬領域，從最基礎的天氣預報到現(xiàn)有的氣候預測、氣候可行性論證、公共氣象服務、專業(yè)專項氣象服務、氣象防災減災等，氣象業(yè)務仍將繼續(xù)拓展，把氣象產品送到更多人手中，為社會創(chuàng)造財富、減輕損失。

2015年9月，《促進大數(shù)據(jù)發(fā)展行動綱要》正式發(fā)布，在社會各界引起廣泛影響，也加速推進了大數(shù)據(jù)在各領域的應用。有人說，在“大數(shù)據(jù)時代”這個概念出現(xiàn)前，最名副其實的大數(shù)據(jù)應該數(shù)氣象大數(shù)據(jù)。那么，在氣象部門如何開展大數(shù)據(jù)工作呢?氣象大數(shù)據(jù)如何采集、氣象數(shù)據(jù)如何傳輸?shù)葐栴}將在文中得到解答。

實況數(shù)據(jù)是氣象學科發(fā)展的最基礎數(shù)據(jù)，也是模式數(shù)據(jù)產生的源頭。如果沒有實況數(shù)據(jù)，計算機在運算“模式數(shù)據(jù)”時就少了初始值，即使是回歸到沒有計算機的人工預報時代，少了實況數(shù)據(jù)也無法進行天氣預報。

有人說，在“大數(shù)據(jù)時代”這個概念出現(xiàn)前，最名副其實的大數(shù)據(jù)應該數(shù)氣象數(shù)據(jù)。氣象數(shù)據(jù)一貫以龐雜眾多數(shù)據(jù)量大而著稱，但無論氣象數(shù)據(jù)多么復雜，總體可以分為兩類：一類數(shù)據(jù)被稱為“實況數(shù)據(jù)”，一類被稱為“模式數(shù)據(jù)”。

簡單來說，實況數(shù)據(jù)屬于“一般過去時數(shù)據(jù)”，來自不同的觀測設備。采集實況數(shù)據(jù)的氣象站點遍布全球，觀測范圍從幾千米的高空到地面，觀測手段從高科技的雷達衛(wèi)星到最原始的人工觀測，這些數(shù)據(jù)的采集都是為了更真實地反映出地球外圍大氣圈的運動變化，而這些寶貴的數(shù)據(jù)也可以稱之為天氣預報之源。

模式數(shù)據(jù)與實況數(shù)據(jù)相比，可以說更簡單也可以說更復雜。簡單的是，這類數(shù)據(jù)僅由各類計算機的程序運算生成，屬于預測未來的“一般將來時數(shù)據(jù)”;說它復雜則是因為計算量非常龐大，運用到的計算公式也異常復雜，為了更真實地模擬全球大氣的走向，運算出的數(shù)據(jù)量也是十分驚人的!

下面，我們就一一來詳細揭秘這兩類“氣象大數(shù)據(jù)”。

天氣預報之源——實況數(shù)據(jù)

那么，實況數(shù)據(jù)是如何采集的呢?

很多年前，實況數(shù)據(jù)的采集和傳輸工作大部分都要靠人力完成。氣象觀測員每天要定時記錄百葉箱內的溫度、濕度等，并通過打電話、發(fā)電報等方式將全國觀測數(shù)據(jù)進行匯總。到今天為止，仍有很多發(fā)展中國家采用這種采集傳輸方式。

而隨著科技的發(fā)展，在計算機、電子和通信技術高度發(fā)達的今天，實況數(shù)據(jù)的采集和傳輸技術也有了天翻地覆的變化。所有實況數(shù)據(jù)的采集和傳輸幾乎都可以通過自動化完成，僅有少數(shù)幾個項目需要人工參與，比如地面能見度觀測、施放探空氣球、衛(wèi)星軌道控制等。

目前，在氣象觀測站中溫度、濕度、氣壓、風向、風速等物理量均由電子控制的機械設備完成，這些觀測站配有嵌入式芯片，芯片上有一個精確的時鐘，可以準時地周期性工作，例如在整點每隔5分鐘、10分鐘或1小時自動采集周圍的環(huán)境數(shù)據(jù)，并自動將采集的氣象數(shù)據(jù)編碼為二進制數(shù)據(jù)流，發(fā)送到數(shù)據(jù)庫中。截至2015年年底，我國大約有50000多個這樣的地面觀測站，所有觀測站均為自動站。

由氣象觀測站觀測到的數(shù)據(jù)信息會首先在各省的氣象臺進行匯總，然后通過“質量控制”的環(huán)節(jié)，去掉或訂正某些由于觀測設備故障造成的錯誤數(shù)據(jù)，質量控制過程同樣也是由計算機程序自動實現(xiàn)的。完成初步的質量控制后，各省就利用FTP文件傳輸?shù)姆绞?，將該省該時刻全部觀測站點全部物理量數(shù)據(jù)打包為一個大文件，上傳到位于北京的國家氣象信息中心的通信臺。

世界其他國家的觀測數(shù)據(jù)的采集和傳輸也基本大同小異。除此以外，國與國之間也要進行實況數(shù)據(jù)的交換，而且必須是無償交換。這是因為大氣的運動是全球性的，僅僅依靠本國的實況數(shù)據(jù)無法做出準確的天氣預報，因此，世界氣象組織規(guī)定各國之間必須無償提供氣象觀測資料。不過，有的時候出于信息保護或軍事安全的考慮，并不會對外廣播全部的觀測站點數(shù)據(jù)。那么，每個國家需要義務提供多少站點信息，又以什么標準交換，都交換哪些觀測項目，這些都由世界氣象組織(WMO)制定和協(xié)調。

氣象大數(shù)據(jù)之魂——模式數(shù)據(jù)

模式數(shù)據(jù)是由高性能計算機根據(jù)當前天氣實況數(shù)據(jù)(包括地面、高空、衛(wèi)星等)通過物理方程計算得出的?？梢院唵涡蜗蟮卣J為，有這樣一套龐大的計算天氣預報的程序，輸入當前已知的天氣現(xiàn)象，就可以輸出未來還沒有發(fā)生的天氣現(xiàn)象。計算出的天氣預報結果通常以規(guī)則的等經緯度網格來表示，網格上的每一個點代表這個經緯度上未來某時刻某個物理量(比如溫度)的數(shù)值。這就是現(xiàn)代天氣預報業(yè)務的基礎叫“數(shù)值模式預報”，而這個龐大的計算機程序就被稱作“模式系統(tǒng)”。

所有的發(fā)達國家都有自己的一套用來演算天氣情況的模式系統(tǒng)，有的國家甚至還具有不止一套的系統(tǒng)。模式系統(tǒng)一般每天計算2～4次，通常在整點開始，利用整點前采集到的實況數(shù)據(jù)進行計算，每次計算要生成大概幾百個物理量，包括從開始計算的時刻(又稱作“起報時刻”)至未來240小時時效(或更長)的一系列二進制網格數(shù)據(jù)，預報時效通常間隔3小時。目前氣象網格經緯度間距一般在0.25度數(shù)量級，一個網格文件大小通常在1～2兆，包含幾十萬個浮點數(shù)值。

當模式的預報時效越長，時效間隔越密，網格點間距越小，網格點數(shù)值和未來實況差異越小，就證明該模式系統(tǒng)性能越好，該國氣象水平越發(fā)達。由于模式預測的物理量多，每天還要多次起報，預報時效密集，模式種類繁多，模式數(shù)據(jù)必須至少存儲一星期等要求，因此，在氣象數(shù)據(jù)中，無論從數(shù)據(jù)個數(shù)還是數(shù)據(jù)存儲量來說，模式數(shù)據(jù)是比重最大的“大數(shù)據(jù)”。

和實況數(shù)據(jù)不同的是，具備模式系統(tǒng)的國家通常沒有義務向其他國家無償提供本國的模式數(shù)據(jù)，或者最多無償提供經過抽稀處理的粗粒度模式數(shù)據(jù)。想要得到發(fā)達國家的高質量模式數(shù)據(jù)，必須通過購買才可以。例如想要得到歐洲中心的0.125度細網格模式數(shù)據(jù)，無論中國氣象局還是美國氣象局都必須向歐洲中心支付高昂的年費，才能每天獲得高質量的歐洲中心模式數(shù)據(jù)。

需要注意的是，這里購買的僅僅是模式系統(tǒng)最終的“輸出”數(shù)據(jù)，而不是模式系統(tǒng)本身。因為模式系統(tǒng)水平的好壞代表了一個國家氣象的硬實力，模式系統(tǒng)的源代碼(通常是大量的Fortran程序)更是頂級領域技術機密，屬于非賣品。

跨國模式數(shù)據(jù)也是利用FTP等方式進行傳輸，傳輸?shù)母袷揭话闶遣捎檬澜鐨庀蠼M織制定的一種稱作GRIB編碼的文件規(guī)范，這種文件比較適合描述模式數(shù)據(jù)。

氣象數(shù)據(jù)如何傳輸

看完“實況數(shù)據(jù)”和“模式數(shù)據(jù)”的介紹，有沒有覺得氣象數(shù)據(jù)量大浩如煙海，這么多的數(shù)據(jù)都要一一傳送到預報員手里，又需要多長時間呢?一般來說，地面、高空、雷達觀測數(shù)據(jù)的采集和傳輸過程較快，從數(shù)據(jù)采集到可視化向預報員展示，通常幾分鐘時間就可以完成。也就是說，如果某地出現(xiàn)降雨天氣，只要儀器能觀測到，幾分鐘后位于氣象臺的預報員就會知道。

相對而言，靜止氣象衛(wèi)星觀測的時間稍長，中國的風云衛(wèi)星一般需要20多分鐘才能完成全球掃描，大概半小時后，預報員才能在電腦上看到衛(wèi)星云圖。

這里面模式數(shù)據(jù)傳輸最慢。以上午08時起報的歐洲中心模式系統(tǒng)為例，首先計算未來3小時(上午11時)的所有物理量，打包為1個GRIB文件并向其他國家傳輸，然后再計算未來6小時的數(shù)據(jù)，打包傳輸，直到最后完成10天后上午08時的預報數(shù)據(jù)計算并傳輸，每個預報時效的GRIB文件大概100多兆，計算一個預報時效大概需要幾分鐘時間，模式系統(tǒng)啟動也需要很長時間，這樣北京收到歐洲中心在早08時起報的第1個GRIB文件大概要到下午1時45分，完成最后一個240小時預報時效GRIB文件的接收要到下午3時。這樣，如果要做早08時到下午3時的天氣預報，只能使用前1個起報時刻的模式數(shù)據(jù)，比如前一天晚20時的模式數(shù)據(jù)。

在我國，國家氣象信息中心通信臺承擔著數(shù)據(jù)傳輸和分發(fā)的樞紐作用。接收的數(shù)據(jù)包含來自各省的地面、高空、雷達數(shù)據(jù)、衛(wèi)星數(shù)據(jù)、中國模式系統(tǒng)輸出結果的數(shù)據(jù)以及其他國家的觀測數(shù)據(jù)和模式數(shù)據(jù)。同時，還承擔數(shù)據(jù)的發(fā)送功能，每天將各種觀測數(shù)據(jù)和模式數(shù)據(jù)通過地面網絡或通信衛(wèi)星收發(fā)系統(tǒng)傳送給31個省市區(qū)氣象臺和其他國家。

省一級的氣象臺只負責將本省的觀測數(shù)據(jù)發(fā)送至國家氣象信息中心，不進行其他數(shù)據(jù)的傳送，同時接收來自國家氣象信息中心分發(fā)的其他省的數(shù)據(jù)或各國模式系統(tǒng)數(shù)據(jù)。一般來說，由于國家到省級的網絡傳輸需要較長時間，因此，國家級預報員在時間上將先于省級預報員查看到最新的氣象數(shù)據(jù)。

預報員如何接收氣象數(shù)據(jù)

解釋完了數(shù)據(jù)是怎么進行傳輸和接收的，最后一個問題，一個個數(shù)據(jù)又是如何出現(xiàn)在預報員的計算機中?這其實是一套先進、復雜的大數(shù)據(jù)處理系統(tǒng)。

數(shù)據(jù)到達通信臺后，首先兵分兩路，地面、高空站點實況報文數(shù)據(jù)被轉發(fā)至解報計算機，完成對于BUFR編碼的解碼，提取出報文中的站號、物理量值等信息，寫入一個關系型數(shù)據(jù)庫中作為緩存，然后通過每隔幾分鐘的定時作業(yè)，將同一觀測時刻全部站點的物理量信息從關系型數(shù)據(jù)庫中提取出來，制作為一個全國全部站點觀測文件，寫入到一個專供預報員客戶端軟件訪問的高速存儲服務器中。

另外一路數(shù)據(jù)包括模式數(shù)據(jù)、衛(wèi)星、雷達數(shù)據(jù)，這一類數(shù)據(jù)本身不是報文，不需要像站點實況數(shù)據(jù)那樣先拼接再寫入的過程，因此，通信臺直接將這些數(shù)據(jù)發(fā)送給高速解析服務器，完成類似GRIB解碼、衛(wèi)星通道拆分等操作，解碼后的結果一般是一些更小更多的文件，直接寫入到和存儲全國站點觀測文件相同的高速存儲服務器中，供預報員客戶端軟件訪問。所有數(shù)據(jù)的解報、解碼時間一般幾秒鐘即可完成。

中國的預報客戶端稱作“MICAPS”(全稱氣象信息綜合分析處理系統(tǒng))，主要功能是將高速存儲服務器中的所有氣象數(shù)據(jù)進行可視化展示，并提供便捷的瀏覽和交互操作，預報員利用顯示出來的模式數(shù)據(jù)和所有實況數(shù)據(jù)，結合自己的分析，在MICAPS上繪制出天氣預報的最終結果，最后將預報結果出圖和撰寫成文字發(fā)送給發(fā)布部門，比如網站、報紙、電視臺等。(來源：《氣象知識》

來源：數(shù)據(jù)觀綜合

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。