航天宏图基于多源数据融合的气象精准监测预报
    来源:  时间:2018/10/17

    气象要素的日常变化以及由极端变化引起的高影响天气等与各行业的安全运营及运营效率密切相关,且随着经济的发展,行业管理精细化水平的逐步提升,对气象服务精度的要求也越来越高,需要定时、定点、定量的监测和预报产品。现阶段气象监测的手段和预测手段都是单一化的,如何联合这些单一化的手段得到一个综合性、无缝隙的监测预报,是提供行业气象预报保障的重要技术手段。

    这是一张摘自WMO的图片描述了现有的多种气象监测手段,每一类气象监测手段都有优点和缺点,比如地面观测站是最准确的,但是其空间代表性差,成本比较高;地基气象雷达是实现对夏季降水系统精准监测的最好方式,其覆盖范围较大,一部雷达一般可覆盖200-300公里的半径区域;气象卫星,包含极轨和静止卫星具有全天候无缝隙覆盖能力,缺点是其为非接触式监测,反演的气象要素精度相对较差。面对不同的气象监测信息 ,如何结合先进的分析手段开展分析和融合预报是航天宏图所关注的命题。整体来讲不同的气象监测手段能够单独对气象状态开展不完整、不完全的监测预测,随着新兴数据分析技术特别是与计算机融合的气象机器学习技术的兴起,开展对单一数据的充分挖掘应用可在一定程度上有效提升精细气象预报水平;基于多源数据融合的监测分析,能够更好的刻画大气的真实状态,有助于开展高影响天气精准评估。
        基于前述的描述背景,以下介绍主要分为三个部分,第一是是如何利用新方法开展气象精准化监测和预报;第二是切合主题开展基于融合资料的气象监测,并挑选了短临预报为例;第三是展示如何利用预报手段服务于行业。
        第一部分精准气象监测预报方面划分成三个题目:气象雷达资料应用、静止气象卫星反演应用和基于机器学习的数值天气预报校准应用。首先是气象雷达应用,气象雷达是对降水系统最好的监测手段,但是其具有相应的一些观测质量问题,需要针对原始气象数据开展质量控制,清除掉非气象要素的杂波影响。并且天气系统是移动的,单部雷达只能监测200-300km半径的区域,为了实现对天气系统的不间断追踪监测,需要将多部雷达进行拼接起来应用,并在拼接的基础上开展夏季对流系统的识别、追踪和外推的工作。所以针对气象雷达数据做处理和应用分了几个步骤首先是质量控制(去除非气象杂波,比如昆虫、地物,包括地物遮挡、频率衰减等)、解码(不同型号雷达的解码)、坐标转换(气象雷达球状扫描,信号是极坐标下的,我们实际气象预报包括一些数值天气预报用的资料是三维的自然坐标系,需要开展极坐标到xyz坐标的转化)、雷达拼图(将多个雷达拼成一张连续图片,实现对天气系统的连续追踪)的基础处理以及云分类、对流识别、降水反演、对流外推的高级应用。


    经过云分类之后可以识别出来对流核心在哪儿、层状云在哪儿,对流核心就是夏季常发生的冰雹、雷电、强降水的区域,并且是引导着对流系统的发展方向,所以它的识别是非常关键的。
        在对流云分类基础上开展了基于雷达的定量降水估计,主要技术思路是建立雷达反射率和地面降水的关系,本质上用的也是动态Z-R关系,Z就是雷达反射率,R是降水,首先对雷达数据以及用到的地面站数据进行质控,再针对不同的云分类类别,开展针对每一类云的动态Z-R关系拟合,从而得到基于雷达的降水分布。
        在雷达拼图和云分类的基础上开展了基于雷达资料对对流系统的追踪识别、及外推短临预报的工作,具体例如下图所示,左边是预测,右边是实况,可有看出针对对流系统的核心包括位移方向相对还是比较好的,另外针对基于雷达的定量降水预报方面,反演的降水与真实观测降水吻合度也是比较高的,该套系统已经在河南省气象台、云南省气象台等多个省级气象单位得到了很好的应用,当前正在开展雷达资料和卫星资料的融合的一些提升工作,有望进一步提升预报准确率和延长预报时间。

    精准气象监测预报的第二个小的专题就是如何应用静止卫星开展针对天气和气象要素的反演工作。新一代静止卫星包含美国GOES-R卫星、日本葵花8卫星、中国风云四号卫星等其监测时间和空间分辨率相比于上一代静止气象卫星都得到了非常大的提升,使得静止气象卫星在天气尺度上的定量监测和反演应用变成了现实。航天宏图建设了日本葵花8卫星接收站,并开展了相应的葵花8数据处理和分析预报工作。葵花8卫星具有16个波段,波段最高分辨率500m,最低2km。我们基于葵花8卫星数据进行了三类型气象要素的反演应用,第一类要素是为基础气象要素的反演,比如基础云要素(云分类、云相态、云顶高)、降水、大气状态参数等要素。第二类是针对例如台风、对流等气象现状的反演;第三类是针对环境类要素例如PM2.5/M10/AOD的反演。

    我们主要是将传统反演算法与深度学习卷积神经网络进行结合开展卫星反演。具体机器学习的思路是利用卷积识别出来卫星原始不同波段云图的纹理结构(高级特征),然后进行迭代处理,针对不同的反演要素选取不同的“真值”数据进行训练反演模型。具体举几个例子,比如云判识(检测该相元是否为云),在这里“真值”数据应用了MODIS数据,因为他是静止气象卫星,云判识结果是比较标准的,所以把它作为一个真值样本数据。首先对比下葵花8的输入和MODIS的数据,左边是葵花8观测的云图,右边是MODIS云判识的结果,这是最初的输入。利用卷积神经网络进行迭代,最终来得到云判识结果,开展了大量数据的评估,云判识是的精度现在可以达到90%以上,基本可以达到了业务化的标准。
        云分类反演的方法也是比较类似的,跟云判识有两个不同的处理方式,第一个是真值数据在这里用的是日本JAXA数据,(日本做的一个葵花8应用,里面有相应的云分类结果,但是分辨率5公里,比较粗,且国内获取该资料有相应的延迟,所以我们重新做了一套高精度的云分类结果),第二个不同是云分类技术手段中应用了两步,第一步是应用卷积神经网络的初步云分类,第二步是细化分类,因为原始JAXA是五公里,葵花8分辨率最高500米,最低两公里,要得到两公里的反演,这里有一些模糊地带,第二步上用到大似自然法进行云分类产品的最终细化处理,左边为云分类结果,右边卫葵花8真彩图,值得提出来的是云分类是开展一些气象应用和高影响天气识别(例如对流)的基础。

    同样我们也开展了基于卫星资料反演雷达反射率的工作,前面提到雷达数据是针对夏季高影响天气最主要的监测手段,气象雷达都是地基雷达,一方面在中国的西南或者东南区域,会面临山地遮挡的问题造成信号不连续,另一方面在境外以及海洋上区域缺少雷达的监测,实际上在这些区域卫星是可以很好的覆盖并开展连续不间断的监测的。雷达和卫星相对于是从不同角度实现对云的立体观测,我们基于这个考虑建立了卫星数据反演雷达反射率的观测算子,这样就可以把卫星资料直接当成雷达资料进行应用,大大拓展了卫星在高影响天气的应用便捷性。在业务应用中,比如航空领域关注最高就是雷达反射率,以及在对流的监测、降水的反演等都有很好的应用。具体的效果可以看下图:左边是葵花8原始的可见光通道,中间图片是利用自己的方法反演出来的雷达反射率(基于卫星),右边图片是雷达实际观测的反射率回波,可以看到基于葵花8反演的雷达反射率可以很好的揭示对流发生的位置,特别是对流核心的强度和位置匹配性还是非常好的,但是模拟出来的反射率的面积要比真实的大一点,这一点上也在进行调整,但是整个业务化上应用是完全没问题。

    除了上述描述的反演内容之外,也做了温湿度廓线等要素的反演,反演精度上温度平方根误差(RMSE)在2k以内,相对湿度误差在20%以内,这已经属于比价高的精度了。实际上葵花8卫星是没有垂直探测仪的,我国的风云四号卫星是有垂直探测仪,基于风云四号的温湿度廓线反演理论上精度会更高,航天宏图正在开展此方面的工作。
        精准监测预报的第三个小的专题就是开展的一些针对数值天气预报校准的工作。现代天气预报最重要的技术手段是数值天气预报,数值天气预报按照模拟区域的不同可分为全球模式、区域模式,按照模拟时间的不同可以分为短期模式、中期模式以及气候模式等。不同的数值天气预报模式由于动力框架、物理过程、初始化方式、同化资料类型的不同,针对不同天气系统和模拟预报对象都有不同的表现,即使同一类型的模式针对一个具体区域也展现出比较大的差异,但是针对这些差异并无法客观化描述某一个具体模式它是固定的好或者坏,可能是针对某段时间,某个天气系统预报好一些,针对另一段时间另外的天气系统,表现“莫名其妙”差一些。在传统气象预报业务中,气象台业务值班人员更多依赖于预报员的经验判断来进行模式预报的误差调整,这种调整过程依赖于人的主观经验,具有不稳定的因素。技术团队分析了模式预报这种误差的特点和可用的数据条件发现非常符合开展基于机器学习误差订正的范畴,所以应用基于机器学习算法开展了针对模式的订正工作,并已开展了针对单模式的校准的成熟性工作,例如针对气象界公认的预报效果最高的ECMWF细网格预报模式的订正可以将温度和风速等要素的预报误差改善达30%以上。

    具体技术路线描述如图所示,因为EC模式分辨率相对比较粗的,现阶段精细化应用城市级一般要求一公里乘一公里,区域级也要求三公里或者五公里网格,为了更好地评估格点性误差,需要针对模式数据和地面站点数据开展相应的前处理。我们开展了模式降尺度以及地面真实数据融合格点化的工作(融合方法提供真实的观测格点),经过这一步得到模式的原始预报误差特征,用自组织神经网络开展非监督学习的聚类,然后针对每一类预报点开展校准系数的训练,再进行实际业务中的应用,主要用到模式前几个小时、前几天的预报速误差。具体我们可以看一下样例,预报数据选取了EC细网格,要素客观分析就是HRCLDAS地表融合数据,作为检验对比数据,真实数据用的站点观测数据,降水的对比分析数据用的CMPA降水融合数据。用时一个月的数据进行训练,20天的数据进行评估。图中展示了温度的订正效果,红色是模式原始温度预报的误差,横坐标轴是预报时效,纵坐标轴是平方根误差,红色线是模式预报,蓝色线是地表分析数据,我们校准之后是绿色线,可以看到绿色线有了非常大的提升,具体来讲数值预报原始预报在日出、日落时间点误差都是比较大的,有24小时很典型的周期误差会增大的现象,通过校准可以很好解决掉,另外整体误差性也是大幅度改善。地面气压、相对湿度、降水等的校准也揭示了类似的结论。

    以上是面向行业的精细化气象预报服务需求开展的几个新型监测和预报手段。接下来以短临预报为例描述下基于多源数据融合的气象监测和预报联合应用。
        在刚才的介绍中,我们知道基于雷达的降水预报外推理论上最多做到两个小时,因为雷达能够监测到回波实际上代表降水已经在发生了,实际上夏季天气系统在未降水之前有相应云的初升、发生、发展的过程,这些过程在新一代高分辨率卫星中都可以很好被捕捉到,基于此原理可以应用卫星资料提前获知降水的发生。另外虽然数值天气预报对短临期的降水预报效果非常比较差,但是其对降水系统动力的捕捉性上特别是系统是否发生、发生大概位置、时间有一定的刻画作用,其在云未形成前就可以对降水有一定的预报能力。如何把雷达最直观的降水信息、静止气象卫星的云观测能力以及数值天气预报的动力预报能力相结合起来开展精准短临融合是要解决的技术难点。
        具体技术工作中要考虑数值预报对降水系统能捕捉到,但是对它的位置、发生时间、强度都有误差,首先我们在进行融合之前要对数值预报的结果进行相应的处理,例如开展相位订正,强队订正等,然后与卫星、雷达反演参数进行融合。

    上图是数值预报订正前开展的降水预报,这个是雷达反演降水可以作为真实观测,不同行表述不同的预报时效,可以看出本身数值预报报出了降水系统,但是位置和发展趋势都是有相应较大偏差。而卫星资料和雷达资料可以在短时间尺度上更好的捕捉出这次系统的发生发展,我们针对这个案例开展了数值预报订正和卫星雷达融合。


    融合之后短时间之内(2h)雷达信号占的比重是比较大的,与雷达直接的外推相似度非常高,但是往后的预报时效融合产品因为来自动力上数值预报的信息比较多,与数值预报吻合度还是比较高的,但是位置经过了前面雷达和卫星位置的一些强行拉过来矫正,整体相较之前有所改善。此项工作会持续进行,因为精度的提升不是一朝一夕的事情。
        第三块,简要提下如何利用前面介绍的技术手段和融合性的预报精准服务于行业。这里主要以道路交通气象为例介绍下,我公司以气象精准监测预报及专业的道路气象预报模式为技术核心推出了一个道路气象服务平台,叫优行服务平台。
        具体应用场景如图所示,融合用到了地面的观测、地基雷达、气象卫星、及车辆上的一些非常规监测等。道路气象服务平台现在有公众免费版的,基于此平台我们提供道路气象精准监测、预报、预警、辅助决策等,与常规的气象预报相比,该平台的优点是提供完全基于道路的气象要素应用上,能够实现这个的条件是我们在前面的气象预报基础之上研发了行业定制化的预报的技术手段,这样保证跟我们实际交通应用需求完全匹配的,比如生产的路面温度、结冰等与冬季高速运营、养护管理以及道路预警系统相关。