大數據和氣象的“聯姻”

　　我們每天都在看天氣預報，大家會發現天氣預報基本準確，但也有那么幾天不靠譜。近年來，隨著技術水平的提升，人們對氣象服務水平的需求越來越高，因此氣象的精準預報成為氣象部門追求的目標。

　　“氣象的精準預報需要行業內外的結合，而創新可能在行業之外，比如引入新思想和新方法。”中國科學院自動化研究所研究員張文生告訴《中國科學報》記者，“比如，用大數據的觀點來重新審視氣象數據，就可以改變我們處理氣象數據的方式和方法，解決之前氣象預報沒有關注的問題。”

　　相識機緣巧合

　　2013年，張文生的一名博士生進入國家氣象衛星中心工作，“這個學生的博士畢業論文主題是熱帶風暴形成與臺風眼路徑預測，據說是世界難題。”通過幾次交流，張文生意識到計算機信息技術可以在輔助氣象預報方面發揮作用。然而，要撮合這兩者還要靠人牽線搭橋。

　　不久后，張文生應邀前往國家氣象衛星中心做講座，講座圍繞氣象數據是否是大數據展開。因為張文生多年從事大數據相關工作，邀請方希望他能用大數據的觀點看看氣象數據是否具備大數據特點。

　　張文生記得：“那次交流座無虛席，原來搞氣象的人對我們搞機器學習、人工智能和大數據的人很感興趣，并且希望我們能幫他們解決一些具體問題。”

　　隨后，國家氣象局組織人員來到張文生的實驗室做進一步討論交流，這次的焦點不再是氣象數據是不是大數據，而是圍繞如何利用氣象大數據進行降水預報展開。“他們希望我們通過采集到的氣象雷達大數據，找與降水量之間更為精準的對應關系。”2015年，張文生團隊進行了嘗試，效果很好。

　　于是，2015年6月25日，中國科學院自動化研究所和中國氣象局公共氣象服務中心簽署協議，共建氣象大數據與機器學習聯合實驗室，張文生任聯合實驗室主任。

　　實驗室成立的總體目標是希望建設研究氣象大數據機器學習、數據分析技術和開發公共氣象服務平臺，推動氣象突發公共事件預警及專業氣象服務等業務發展，培養具備氣象領域知識和掌握機器學習方法的跨學科人才，助力公共氣象服務領域技術持續性創新。

　　創新在行業外

　　為實現上述目標，張文生派出一名副研究員和三名博士生常駐公共氣象服務中心，通過深入合作，他們的創新成果在公共氣象服務中心取得了較高的認可度。

　　張文生團隊針對氣象雷達獲取的多源、異構、稀疏并帶有降水標記的全空間大數據，提出了“結構+統計”的大數據機器學習新模型與算法，精準表達了雷達反射率因子和降水量之間的關系，解決了氣象雷達大數據在線、增量、半監督機器學習難題，實現了氣象雷達大數據超短臨定量降水估計，取得了分鐘級降水估計的創新成果。

　　在雷達分鐘級定量降水估計算法的基礎上，張文生團隊還設計了大數據分布計算架構，開發出高分辨率分鐘級降水估計的業務產品，該產品對比國內外傳統產品的各項指標取得顯著提高。

　　關于“結構+統計”，張文生列舉了一個簡單的例子：騎自行車時對面汽車開過來，人腦里形成的結構是首先不讓對面車撞來，而后是根據采集到危險的信息作出決策。提煉氣象大數據的規律就是結合已有模型的結構進行新的統計，以作出迅速精準的預報。

　　聯合實驗室近期正在大力研究面向氣象大數據的實時降水估測算法和模型，以提高基于雷達回波信息的定量降水估計準確度，同時探索時空精細化氣象預測條件下的模型精度評價標準，研發時空精細化實時降水估測工程化產品。

　　“雷達掃的空間很多，一般是圓錐形的區域，這些空間的區域每隔一些點就有反射因子，參數在空中形成密密麻麻的點，隨著距離地面高度、溫度和壓力不同，采集到了冰晶－雪－雨－霧的信息，從變化中找到規律。”張文生補充道，“雖然建立這樣的模型，需要處理的數據量巨大，對我們來說也是一個挑戰，不過我們還是成功做到了。”

　　應用回行業內

　　目前，張文生團隊提出的“結構+統計”大數據機器學習模型與算法，以及研發的高分辨率分鐘級降水估計產品，已經在全國100多部氣象雷達上業務化試運行/推廣，實現了1KM×1KM空間分辨率分鐘級降水估計。

　　2015年7月28日，張文生團隊的研究成果在中國氣象局門戶網站——中國天氣網上試運行，在氣象部門以及各行業領域產生了廣泛影響力。

　　不久前，微信應用“中國天氣網雷達分鐘降水”也上線提供降雨預測服務。中國氣象局專業的雷達分鐘降水估計版本已在內部上線，將季節、區域的影響加入，在大數據處理、模型與算法、結果可視化等方面都有進一步的改進空間，相關改進成果正在內部測試。

　　張文生指出：“我們不僅取得了國內高分辨超短臨降水估計的方法突破，實現了1公里分辨率5分鐘精準降水估計，還為中國氣象在國際公共氣象服務超短臨降水領域的討論和對話提供了科學依據。”