Neural network algorithm for precipitation estimation from atms radiometer data

Full Text

ВВЕДЕНИЕ

Атмосферные осадки на сегодняшний день являются одним из наиболее важных параметров в системе подстилающая поверхность – атмосфера. Информация о количественной оценке атмосферных осадков позволяет решать фундаментальные задачи в таких научных областях, как метеорология, климатология, сельское хозяйство и др. Большая разреженность сети наземных наблюдений, неравномерность их территориального распределения резко сужают возможности постановки и эффективного решения подобных задач. Таким образом, спутниковые измерения являются основным источником информации об атмосферных осадках в различных пространственно-временных масштабах.

В настоящее время основными спутниковыми приборами, используемыми для дистанционного зондирования осадков, являются радары, микроволновые (МВ) и инфракрасные (ИК) радиометры. Радары осадков излучают микроволны и измеряют обратное рассеянное частицами осадков излучение. Спутники, оснащенные радарами осадков, встречаются редко, а полоса их наблюдения узка, что ограничивает возможности их наблюдения. МВ радиометры принимают микроволны из атмосферы и могут регистрировать сигналы осадков как в виде дождя, так и замерзших частиц воды (Aonashi and Ferraro, 2020). МВ радиометры установлены на большинстве современных полярно-орбитальных космических аппаратов (КА) и могут проводить измерения чаще, чем спутниковые радары. ИК радиометры установлены как на полярно-орбитальных, так и на геостационарных КА и могут производить съемку чаще, чем МВ радиометры и спутниковые радары. Однако для ИК радиометров возможна лишь косвенная оценка количества осадков на верхней границе облака в виду его непрозрачности в этом спектре. Таким образом, пассивные МВ измерения на сегодняшний день являются эталоном получения оценок интенсивности осадков по спутниковым данным и используются, как правило, для уточнения оценок интенсивности осадков, полученных по данным ИК радиометров (Kidd and Levizzani, 2011; Huffman et al., 2020).

Первое практическое применение МВ радиометров для определения интенсивности осадков началось еще в конце 1970-х гг. с запуска спутника Nimbus-7 c МВ радиометром SMMR на борту (Petty and Katsaros, 1990). По мере развития спутниковой МВ радиометрии в 90-е годы количество каналов у приборов увеличивалось, а пространственное разрешение улучшалось, что способствовало разработке новых алгоритмов количественной оценки осадков. Например, был представлен алгоритм для прибора SSM/I на борту КА серии DMSP (Wilheit et al., 1991; Ferraro et al., 1995; Kummerow et al., 1994), в основе которого лежал статистически-регрессионный подход, связывающий измерения в каналах прибора с атмосферными осадками (Petty, 1994). Большинство алгоритмов разрабатывалось для оценки интенсивностей осадков над открытыми районами океанов из-за высоких значений коэффициента излучения суши и его пространственной неоднородности. После запуска в 1997 г. исследовательской миссии TRMM (Tropical Rainfall Measuring Mission, https://gpm.nasa.gov/missions/trmm, 1997–2015 гг.) алгоритмы определения осадков по МВ измерениям получили дальнейшее развитие. Установленный на борту КА TRMM прибор TMI имел дополнительные низкочастотные каналы, которые давали больше информации об осадках по сравнению с прибором SSM/I. Это позволило использовать байесовский подход для восстановления интенсивности осадков путем оценки вертикального распределения влагосодержания атмосферы (Kummerow et al., 1996, 2001). Запуск в 2015 г. исследовательской миссии GPM (Global Precipitation Measurement, https://gpm.nasa.gov/ missions/GPM, 2015 – н.с.) позволил унифицировать и усовершенствовать измерения интенсивности осадков с использованием как исследовательских, так и оперативных микроволновых радиометров. В рамках данной миссии осуществляется взаимная калибровка измерений и восстановление интенсивности осадков с таких приборов, как AMSR2 (GCOM-W1), MHS (NOAA 18/19, MetOp B/C), ATMS (Suomi NPP, NOAA-20/21), TMI (TRMM), GMI (GPM) и др. (Berg et al., 2016; Passive Microwave Algorithm Team Facility, 2022).

Увеличение количества спектральных каналов (в частности, высокочастотных), улучшение их пространственного разрешения позволило реализовать новые подходы и методы оценки интенсивностей осадков для таких приборов, как AMSU-A/B (КА серии NOAA и MetOp), AMSR-E (КА Aqua), AMSR-2, ATMS и др. Появилась возможность оценивать интенсивность осадков над сушей, а также восстанавливать вертикальное распределение влагосодержания атмосферы (Ferraro et al., 2000; Kummerow et al., 2001; Wilheit et al., 2003). Богатый опыт исследований в этой области позволил реализовать такие алгоритмы, как GPROF (Global Precipitation Measurement Profiling Algorithm) (Kummerow et al., 1994, 2001), UMORA (The Unified Microwave Ocean Retrieval Algorithm) (Wentz and Spencer, 1998), GSMaP (Global Satellite Mapping of Precipitation) (Aonashi et al., 2009), HSAF-H01 (ATBD H01, 2013), MIRS (Microwave integrated Retrieval System) (Iturbide-Sanchez et al., 2011) и др. Стоит также упомянуть работы по восстановлению интенсивности осадков для российского МВ радиометра МТВЗА, в частности работу (Сазонов, 2023), в которой описывается методика на основе использования регрессионной модели ALG’85.

В противовес классическим статистическим и физическим методам оценки интенсивностей осадков по спутниковым данным в настоящее время получили широкую популярность методы машинного обучения, в частности нейронные сети. Преимущество нейросетевого подхода к извлечению атмосферных параметров состоит в первую очередь в скорости обработки спутниковой информации. Кроме этого, нейросеть позволяет находить зависимости между восстанавливаемой искомой величиной и измерениями в тех случаях, где классические статистические подходы этого сделать не могут. Это особенно актуально для осадков, где между яркостными температурами в каналах МВ радиометра и интенсивностями у земли существует нелинейная зависимость, которую трудно оценить, используя классические подходы. Нейронные сети уже давно используются для оценки осадков из МВ измерений (Staelin and Chen, 2000; Hong et al., 2004; Surussavadee and Staelin, 2008). В работах (Sanò et al., 2015, 2016, 2018, 2022; Zabolotskikh and Chapron, 2015; Заболотских и Шапрон Б., 2016; You et al., 2016; Pfreundschuh et al., 2022; Gorooh et al., 2022) представлены последние достижения в этой области. Так, например, результаты работы алгоритма GPROF-NN, являющимся новым направлением методов оценки интенсивности осадков с помощью нейронных сетей, показали лучшую точность, чем алгоритм GPROF, основанный на физическом методе (Pfreundschuh et al., 2022).

В настоящей статье рассмотрен оригинальный алгоритм оценки интенсивности осадков с помощью нейронных сетей по данным МВ радиометра ATMS, установленного на борту КА Suomi NPP и NOAA-20/21. Представленный алгоритм (далее APNA, Advanced Precipitation Neural Algorithm) основан на использовании комбинации из двух полносвязных нейронных сетей. Первая нейронная сеть используется для классификации потенциальной осадкообразующей облачности, вторая – для оценки интенсивности осадков. Для обучения нейронной сети использовалась большая репрезентативная база данных по осадкам, сформированная по данным смоделированных с помощью быстрой радиационной модели (RTM) RTTOV в каналах прибора ATMS измерений и соответствующих им интенсивностей осадков из реанализа ECMWF ERA5. Валидация полученных результатов проведена с использованием как наземных радарных источников информации об осадках, так и результатов работы алгоритмов MIRS и GPROF для спутниковых наблюдений ATMS. Оценка интенсивностей осуществляется для всех типов подстилающей поверхностей, свободных от снежного и ледяного покровов. Представленная в настоящей работе нейросетевая методика апробирована на данных радиометра ATMS и в будущем будет адаптирована к данным российского МВ радиометра МТВЗА-ГЯ, который является одним из основных источников полезной нагрузки КА серии Метеор-М.

КРАТКОЕ ОПИСАНИЕ АППАРАТУРЫ ATMS

Радиометр ATMS является целевой аппаратурой, установленной на метеорологических КА Suomi NPP и NOAA-20/21. По своим информационным характеристикам и области применения ATMS соответствует аналогам ― AMSU/MHS (КА серии NOAA и MetOp), AMSR2 (КА GCOM-W1), GMI (КА GPM). Прибор оснащен 22 каналами в диапазоне частот от 23 до 183 ГГц, имеет ширину обзора 2600 км, что позволяет проводить восстановление вертикальных профилей температуры и влажности, параметров облачности, осадков и характеристик подстилающей поверхности. Так, каналы на частотах 23, 31, 50, 88 и 165 ГГц могут предоставлять информацию об общем количестве водяного пара в столбе атмосферы, состоянии подстилающей поверхности и характеристик облачности. Каналы на частотах от 50 до 60 ГГц используются для температурного зондирования атмосферы от поверхности земли до высоты ∼1 гПа (~45 км), а каналы в районе частоты 183 ГГц предоставляют информацию о вертикальном распределении водяного пара от поверхности земли до высоты 200 гПа (~15 км). Каналы на частотах 88 и 165 ГГц предоставляют важную информацию о наличии капельных и ледяных гидрометеоров в атмосфере. Подробное описание аппаратуры ATMS представлено в работе (JPSS ATMS SDR Science Team, 2022).

ФОРМИРОВАНИЕ ОБУЧАЮЩЕЙ ВЫБОРКИ

Оптимальный выбор спектральных каналов

Прежде чем приступать к построению модели нейронной сети и ее обучению, необходимо определить оптимальный набор входных переменных, которые бы давали максимальную точность оценки интенсивности осадков по данным радиометра ATMS. На основе входных переменных строится обучающая выборка (ОВ) для нейронной сети. С целью оценки оптимального выбора каналов для ОВ рассмотрим на рис. 1 весовые функции спектральных каналов радиометра ATMS.

 

Рис. 1. Весовые функции спектральных каналов радиометра ATMS.

 

Так как земная поверхность имеет высокую временную изменчивость радиационного излучения в низкочастотной микроволновой области спектра, рациональным подходом для решения задачи обнаружения осадков и оценки их интенсивности имеет смысл разделить наблюдения ATMS над сушей и над водой. Исходя из этого, для оценки интенсивности осадков над водой были выбраны каналы (№ 1–6, № 16–22) над сушей (№ 3–6, № 16–22). Набор каналов в районе частот 89, 165 и 183 ГГц имеют наибольшую чувствительность к содержанию влаги в атмосфере, в связи с чем хорошо подходят для обнаружения осадков разного агрегатного состояния (Sano et al., 2022; You et al., 2022), в том числе для обнаружения осадков в твердой фазе. В связи с чем, каналы на этих частотах используются для оценки интенсивности осадков как для воды, так и для суши. Так как каналы с 6 по 15 недостаточно чувствительны к влагосодержанию тропосферы, они были исключены из списка входных переменных. Также были исключены каналы № 1 и 2 для суши, так как они сильно чувствительны к радиационному излучению подстилающей поверхности, которое зависит от множества изменчивых в пространстве и во времени факторов (тип растительности, снежный покров, влажность почв и др.). Помимо непосредственно измерений каналов радиометра ATMS в обучающую выборку дополнительно была включена географическая широта для учета зонального изменения интенсивности осадков, а также зенитный угол спутника, от величины которого напрямую зависит длина пути прохождения МВ излучения (Karbou et al., 2005). Стоит отметить, что авторы некоторых нейросетевых алгоритмов восстановления интенсивности осадков вместо каналов на частоте 183 ГГц используют их разности (Di Tomaso et al., 2009; Sano et al., 2015). В связи с чем, путем использования канонического корреляционного анализа (Hair et al., 1998) был дополнительно произведен анализ измерений в каналах радиометра ATMS, в частности разностей влажностных каналов, на предмет их корреляция с приземными осадками. В таблице 1 представлен оптимальный набор каналов и дополнительных предикторов в качестве входных переменных для обучения нейросети, использованный в данной работе.

 

Таблица 1. Список входных переменных для обучения нейросети

	Суша	Вода
Каналы	№ 3–6, 16–22	№ 0–6, 16–22
Разности	D15,16; D17,18; D17,21; D18,21; D20,22
Вспомогательные параметры	Широта Зенитный угол спутника
D – разность яркостных температур

 

Моделирование измерений в каналах ATMS

Результат работы нейронных сетей по восстановлению интенсивности осадков напрямую зависит от модели сети и от обучающей выборки, которая представляет собой обширный ансамбль состояния атмосферы. Во время обучения сети устанавливаются связи между измерениями в каналах спутникового прибора и искомой величиной через весовые коэффициенты, и от вариативности обучающей выборки будет зависеть точность расчета таких коэффициентов. Недостаточно точный обучающий набор данных в большинстве случаев приводит к неверному формированию модели принятия решений и, как следствие, снижает эффективность самих алгоритмов обучения. В большинстве случаев наличие хороших обучающих данных намного важнее качества алгоритма обучения. Однако, чтобы получить хорошее качество восстанавливаемых параметров, необходимо использовать обучающее множество очень большого размера, а также специальные методы расширения и имитации расширения обучающего множества. Чаще всего приходится экспериментировать как с количеством входных переменных, так и с размером обучающей выборки. Конечным результатом таких экспериментов является подбор оптимального алгоритма обучения.

Как было сказано ранее, для точного восстановления интенсивности осадков необходима довольно большая и полная обучающая выборка, которая бы описывала все возможные случаи присутствия осадков в атмосфере различного фазового состояния. В связи с чем, для построения обучающей выборки было принято решение использовать информацию об интенсивности осадков из реанализа ECMWF ERA5 (Hersbach H. et al., 2020). Данный выбор обусловлен тем, что информация с ERA5 находится в свободном доступе, покрывает всю территорию земного шара и обладает требуемым пространственным разрешением в 0.25 градуса, что сопоставимо с разрешающей способностью каналов ATMS. Стоит отметить, что в обучающей выборке использовались не реальные измерения каналов, а смоделированные. Во-первых, такой подход позволяет устранить ошибки пространственно-временного совмещения, которое бы выполнялось в случае набора выборки с использованием реальных измерений ATMS. Во-вторых, при моделировании измерений ускоряется процесс набора обучающей выборки за счет одновременного глобального охвата ERA5 всех регионов земного шара за конкретные сроки наблюдения. Кроме этого, как показывают результаты последних исследований (Kim et al., 2022; Xu et al., 2022; Lavers et al., 2022), ERA5 демонстрирует лучшие показатели точности по интенсивности осадков при сравнении с подобными ей моделями ЧПП.

В настоящее время существует широкий выбор радиационных моделей для расчета излучения на верхней границе атмосферы в каналах спутникового прибора. На практике используют модели двух типов: быстрые модели, адаптированные к различным спутниковым микроволновым радиометрам, например, RTTOV или CRTM, и модели, основанные на точных полинейных расчетах, например, ARTS или LBLRTM. В рамках настоящей работы для моделирования излучения в каналах прибора ATMS использовалась быстрая радиационная модель RTTOV v13 (в частности RTTOV-SCATT). RTTOV позволяет проводить моделирование измерений с более чем 80 спутниковых приборов, работающих от микроволнового до видимого диапазона длин волн, и поддерживается операционными научными центрами по всему миру (Geer et al., 2021). Данная модель переноса излучения способна моделировать микроволновое излучение от облаков и осадков с достаточно высокой точностью (Barlakas et al., 2022). Для моделирования микроволнового излучения, рассеянного облаками и осадками, в RTTOV используются модели переноса излучения с многократным рассеянием, включающим эффекты рассеяния несферическими частицами, например, лед, снег, град и др. (Liu, 2008; Eriksson et al., 2018). Программная реализация RTTOV имеет открытый исходный код и гибкий интерфейс пользователя, что позволяет исследователям настраивать функционал работы модели под свои научные задачи.

Процедуре моделирования измерений в каналах прибора ATMS с помощью RTTOV предшествовало формирование массивов данных ERA5 в период с 1 января по 31 декабря 2022 г. Данные были получены из (https://cds.climate.copernicus.eu). Зона покрытия – весь земной шар. Такой большой объем информации подразумевает, что набранная статистика будет отражать максимальную вариативность осадков в атмосфере. В таблице 2 приводится список полей ERA5, используемых в качестве входных переменных в быстрой радиационной модели RTTOV.

 

Таблица 2. Список полей ERA5, используемых при моделировании измерений с помощью RTTOV

№	Поле
1	Географические координаты
2	Температура на высоте 2 метров н.у.м
3	Давление на высоте 2 метров н.у.м
4	Отношение смеси водяного пара на высоте 2 метров н.у.м
5	Компоненты векторов ветра U и V на высоте 10 метров н.у.м
6	Температура подстилающей поверхности
Вертикальный профиль
7	Температура
8	Отношение смеси водяного пара
9	Давление
10	Удельное содержание жидкой воды в облаках
11	Удельное содержание льда в облаках
12	Удельное содержание жидкой воды в виде осадков
13	Удельное содержание снега в виде осадков
14	Доля облачности

 

Моделирование осуществлялось для каждого третьего дня в месяце за сроки 00 и 12 часов UTC за весь 2022 г. Кроме данных реанализа использовалась информация о высоте рельефа и зенитном угле наблюдения спутника, а также о коэффициентах излучения различных типов подстилающей поверхности из атласа TELSEM2 (Wang et al., 2017). Результатом моделирования являются цифровые массивы измерений в каналах спутникового прибора и соответствующие им интенсивности осадков из ERA5. Подробная схема моделирования измерений показана на рис. 2.

 

Рис. 2. Общая схема процесса моделирования измерений в каналах прибора ATMS.

 

Без маски снега трудно различить сигналы на частоте 183,31 ± 7 ГГц от кристаллов льда в конвективной облачности и частиц снега (Laviola and Levizzani, et al., 2011). В связи с чем для фильтрации таких измерений применялась глобальная маска снега/льда (Romanov, 2017), полученная из (https://satepsanone.nesdis.noaa.gov). Кроме этого, в целях минимизации присутствия случаев подстилающей поверхности, покрытой снегом и льдом, полученная обучающая выборка была ограничена географической широтой от –70 до 70 градусов. Стоит отметить, что каналы, работающие на частоте ∼183 ГГц, немного чувствительны к концентрации озона. Однако учет озона при моделировании не применялся, так как ошибка из-за влияния озона не превышает 0.5 К (John and Buehler, 2004). Маска суша/вода служит в качестве индикатора выбора нейросетевой модели, которая для воды и суши будет различаться. Сформированная в ходе моделирования ОВ была увеличена в два раза путем добавления к ней измерений со случайным шумом в виде суммы радиометрического шума в каналах прибора ATMS (Liu et al., 2020) и ошибок моделирования RTTOV для МВ диапазона длин волн (Moradi et al., 2020).

Балансировка обучающей выборки

Какая бы большая и полная выборка не была, стоит учитывать ситуации, когда наблюдается дисбаланс данных. В случае интенсивностей осадков такая ситуация может привести к тому, что нейросеть будет предсказывать, например, хорошо малые интенсивности, но плохо – большие. Если предположить, что интенсивность осадков может быть разделена на следующие классификации: слабые (0.25 – 2.5 мм/ч), умеренные (2.5 – 8 мм/ч), сильные (8 – 15 мм/ч) и очень сильные (> 15 мм/ч) (Zhao et al., 2020), то ОВ, построенная на расчетах RTTOV, будет иметь более 95% всех интенсивностей, относящихся к классу слабых осадков. Это приведет к тому, что интенсивности умеренных и сильных осадков будут иметь наибольшую погрешность при обучении нейронной сети. Если попытаться выровнять численность умеренных и высоких интенсивностей относительно малых, то картина будет противоположная – ошибки обучения малых интенсивностей возрастут. Таким образом, перед обучением нейронной сети необходимо акцентировать внимание на том, какой класс осадков точнее всего нужно восстанавливать. В рамках настоящего исследования было принято решение перебалансировать ОВ таким образом, чтобы нейросеть больше фокусировалась на слабых и умеренных интенсивностях осадков. На рис. 3 представлено распределение интенсивностей осадков до и после балансировки классов.

 

Рис. 3. Распределение интенсивности осадков в обучающей выборке.

 

Согласно рис. 3, число слабых интенсивностей (красный цвет) для исходной ОВ кратно превышает все остальные классы. Балансировка классов (синий цвет) позволяет увеличить долю не только умеренных, но и высоких интенсивностей, число которых в ОВ было ничтожно мало. Балансировка классов осуществлялась путем добавления к каждому из них случайных значений интенсивности этого же класса до достижения баланса классов ОВ в пропорции 1:5:10:40. Пропорция классов может быть разная, в зависимости от того, какие цели необходимо решить в процессе классификации. Как уже было сказано ранее, в ходе настоящего исследования в работе делается акцент на повышении точности классификации слабых и умеренных осадков.

После балансировки классов есть два похода к обучению нейронной сети: первый ‒ это напрямую использовать при ее обучении сбалансированную ОВ; второй – использовать сбалансированную ОВ для предварительной классификации интенсивности осадков с последующим обучением отдельных нейросетевых регрессионных моделей для каждого из классов. Эксперименты показали, что второй подход более предпочтительный, так как метод разделения осадков на классы позволяет снизить вариативность возможных значений исходных данных в обучающих выборках, что уменьшает трудоемкость обучения модели для количественной оценки осадков в тех пикселах изображения, где осадки присутствуют. Однако разделение осадков на классы требует создания отдельной ОВ для каждого класса. На рис. 4 представлено распределение интенсивностей осадков в ОВ для каждого из четырёх классов.

 

Рис. 4. Распределение интенсивности осадков в обучающей выборке по классам интенсивности осадков: а ‒ слабые; б ‒ умеренные; в ‒ сильные; г ‒ очень сильные.

 

При формировании ОВ для каждого класса учитывался тот факт, что при классификации нейронная сеть может ошибаться как минимум на один класс. Например, слабые осадки классифицировать как умеренные и наоборот. В связи с чем, в ОВ для каждого класса должно присутствовать достаточное количество измерений соседних классов, чтобы нейронная сеть смогла правильно их оценить. В ходе экспериментов было установлено, что увеличение количества случаев сильных/очень сильных интенсивностей осадков ведет к постепенному возрастанию ошибки в сторону малых интенсивностей. Таким образом, при формировании отдельных ОВ для каждого класса должен сохраняться определённый баланс значений интенсивности, который бы давал наименьшую ошибку для соседних классов.

АРХИТЕКТУРА И ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ

Для более точной оценки значений интенсивности осадков был разработан алгоритм, состоящий из одной модели классификатора и четырех регрессионных моделей. Результатом работы классификатора является метка класса, соответствующая отсутствию осадков либо их наличию в градациях малой, средней, высокой и очень высокой интенсивности. Далее, в зависимости от уровня интенсивности, применяется соответствующая регрессионная модель, обученная на одной из вышеописанных ОВ. Выходным результатом алгоритма является значение мгновенной интенсивности, выраженное в мм/ч.

В качестве архитектуры для построения классификационной и регрессионных моделей используется полносвязная нейронная сеть прямого распространения на основе многослойного персептрона (Svozil et al., 1997). Данная архитектура нашла свое применение во многих прикладных областях исследований, в том числе при решении задач ДЗЗ, благодаря своей универсальности, позволяя аппроксимировать сложные нелинейные функции на основе данных (Mas and Flores, 2008). При этом использование массивно-параллельных SIMD (Single Instruction Multiple Data) процессоров для реализации нейросетевых моделей позволяет производить расчеты с высокой скоростью практически в реальном времени сразу после поступления входных данных.

Для решаемой задачи классификации и регрессии экспериментально была подобрана конфигурация нейронной сети, состоящая из 4 последовательных скрытых слоев с количеством нейронов 32-64-128-256. К каждому нейрону применятся функция активации на основе гиперболического тангенса, при этом для классификатора на последнем слое дополнительно используется логистическая функция Softmax (Goodfellow et al., 2016).

Для обучения всех моделей использовался алгоритм оптимизации весовых коэффициентов нейронных сетей Adam (Adaptive Momentum), основанный на методе стохастического градиентного спуска и достаточно широко применяемый в области оптимизации нейронных сетей в виду его универсальности и не слишком больших требований к потребляемой памяти (Kingma and Ba, 2014). Обучение моделей выполняется до тех пор, пока ошибка между результатами нейронной сети и фактическими значениями интенсивности осадков для валидационной выборки не перестанет существенно изменяться. Значение ошибки для обучающей выборки при этом должно быть сопоставимо с таковой для валидационного набора данных. Результатом обучения является набор весовых коэффициентов для каждого нейрона, обеспечивающий минимально возможную ошибку.

РЕЗУЛЬТАТЫ И ВАЛИДАЦИЯ

После обучений нейронной сети осуществлялся расчет интенсивности осадков по данным радиометра ATMS за разные временные сроки в период с января по июль 2023 г. Рассматривались калиброванные измерения ATMS спутника NOAA-20, полученные из (www.avl.class.noaa.gov). Валидация полученных оценок интенсивности осадков проводилась по следующим независимым измерениям: радарные данные системы NIMROD с пространственным разрешением 5 км (catalogue.ceda.ac.uk), данные алгоритмов GPROF (gpm1.gesdisc.eosdis.nasa.gov) и MIRS (www.avl.class.noaa.gov) для радиометра ATMS. Сравнение проводилось отдельно для моря и суши, включая прибрежные регионы. Отдельные типы постилающей поверхности, такие как пустыни, горы, леса, равнины и т.д., не рассматривались, валидация проводилась для суши в целом. При валидации рассматривались участки земной поверхности, свободные от снега и льда, для чего использовалась методика, основанная на алгоритме PESCA (Camplani et al., 2021). Область валидации, как и обучающая выборка, была ограничена по широте от –70 до 70 градусов.

Используемые метрики

Получаемые с использованием представленного метода карты интенсивностей осадков оценивались как с точки зрения самого факта их наличия (задача бинарной классификации), так и количественной характеристики (регрессионная задача). В таблице 3 представлены используемые в данной работе метрики, с помощью которых можно охарактеризовать качество полученных результатов. Краткое их описание представлено ниже.

 

Таблица 3. Используемые метрики

Метрика	Формула
POD	TP / (TP + FN)
FAR	FP / (FP + TP)
CSI	TP / (TP + FN + FP)
RMSE
MSE
Bias
R

 

POD (вероятность обнаружения) указывает на долю пикселей, наблюдаемых по фактическим данным, которые были верно классифицированы моделью.

FAR (коэффициент ложной тревоги) показывает долю пикселей, соответствующих наличию осадков по модели, но фактически отсутствующих.

Индекс CSI позволяет оценить долю фактически наблюдаемых пикселей осадков по отношению к выявленным моделью.

Метрика Bias в случае оценки непрерывных значений говорит в среднем о переоценке (Bias > 0) или недооценке (Bias < 0) нейросетевой моделью получаемых значений интенсивности в сравнении с эталоном. Кроме того, в работе также используются распространенные и легко интерпретируемые метрики качества, такие как корень среднеквадратичной ошибки RMSE и линейный коэффициент корреляции R.

К положительному классу относились пиксели изображения, в которых присутствуют осадки. Использовались следующие обозначения: TP – количество истинно-положительных случаев, TN – истинно-отрицательных, FP – ложноположительных, FN – ложноотрицательных, Pre – значение интенсивности по данным тестируемого алгоритма, Obs – эталонное значение интенсивности (суммы).

Валидация по данным MIRS

Программный комплекс MIRS включает в себя поддержку радиометра ATMS, что несколько упрощает процедуру валидации в виду отсутствия необходимости в предварительном пространственно-временном совмещении данных и позволяет более корректно оценить качество алгоритма без учета особенностей различных радиометров. Алгоритм расчета интенсивностей осадков, реализованный в MIRS, основан на итерационном физическом подходе, в котором проводится минимизация невязки между измеренной и модельной яркостной температурой при вариации вертикального распределения влагосодержания атмосферы, которое в дальнейшем используется для пересчета интенсивности осадков (Liu et al., 2017).

Оценка качества с использованием данных MIRS проводилась как с точки зрения обнаружения осадков, так и определения значений интенсивности. Метод валидации полей осадков основан на прямом сопоставлении пикселей изображений по данным MIRS и по данным представленного алгоритма APNA. В таблице 4 представлены значения рассчитанных метрик для измерений с апреля по ноябрь 2023 г.

 

Таблица 4. Оценка точности в сравнении с MIRS

Подстилающая поверхность	Кол-во точек	POD	FAR	CSI	RMSE, мм/ч	Bias, мм/ч	R
Вода	191466	0.928	0.072	0.866	0.78	0.08	0.91
Суша	67290	0.874	0.126	0.776	0.84	–0.46	0.93

 

На рис. 5 представлены диаграммы рассеяния значений интенсивности осадков MIRS и представленной нейросетевой методики отдельно для воды и для суши. Также на данном рисунке приведены ошибки RMSE и Bias для осадков разной интенсивности: от слабых до очень сильных. Изменение цвета от синего к красному на диаграммах рассеяния означает изменение частоты встречаемости значений интенсивности осадков от более низкой к более высокой. Исходя из полученных результатов, можно выделить следующее. Как и ожидалось, имеет место недооценка сильных осадков алгоритмом APNA относительно MIRS, что обусловлено смещением распределения в ОВ при обучении осадков в сторону малых и средних интенсивностей. Также закономерным результатом являются лучшие оценки точности для осадков, наблюдаемых над водной поверхностью.

 

Рис. 5. Диаграммы рассеяния для значений интенсивности осадков по данным MIRS и APNA для воды (а) и для суши (б).

 

Анализируя значения рассчитанных валидационных метрик (таблица 4) и результаты визуального дешифрирования карт осадков по состоянию на 04.08.2023 (рис. 6), можно сделать вывод о достаточно высокой точности алгоритма. В частности, были получены оценки точности обнаружения осадков POD 0.93 и 0.87 для воды и для суши соответственно при показателе ложных обнаружений FAR 0.07 и 0.13, при этом значение ошибки RMSE лежит в пределах 0.78 – 0.83 мм/ч. Для суши в среднем наблюдается небольшая недооценка значений мгновенной интенсивности (Bias = –0.46). В целом данные показатели точности сопоставимы с аналогичными оценками, полученными в работах других авторов по данным МВ радиометров (Sano et al., 2015, 2016, 2018; Guo et al., 2015; Zhu et al., 2022). В общем случае значения метрик зависят от многих факторов, в числе которых особенности рассматриваемого региона, входных переменных ОВ, используемых эталонных данных и т.д.

 

Рис. 6. Интенсивность осадков по данным MIRS (a) и APNA (б).

 

Валидация по данным GPROF

В основе расчета интенсивности осадков по данным радиометра ATMS лежит алгоритм GPROF, который, как и MIRS, основан на байесовском подходе сопоставления измеренных и смоделированных значений в каналах МВ радиометра (Kummerow et al., 2015, 2020).

По аналогии с MIRS, оценка качества с использованием данных GPROF проводилась для полей осадков и значений мгновенной интенсивности методом прямого сопоставления пикселей совмещенных пар изображений. В таблице 5 представлены полученные значения валидационных метрик.

 

Таблица 5. Оценка точности в сравнении с GPROF

Подстилающая поверхность	Кол-во точек	POD	FAR	CSI	RMSE, мм/ч	Bias, мм/ч	R
Вода	66176	0.871	0.129	0.772	1.27	–0.39	0.87
Суша	40804	0.865	0.135	0.763	0.9	–0.56	0.83

 

На рис. 7 представлены диаграммы рассеяния значений интенсивности осадков по данным GPROF и представленной нейросетевой методики отдельно для воды и для суши. Также здесь представлены ошибки RMSE и Bias для осадков разной интенсивности: от слабых до очень сильных. Представленные результаты во многом схожи с полученными ранее оценками точности по данным комплекса MIRS. В частности, наблюдается недооценка высоких значений интенсивности осадков алгоритмом APNA относительно GPROF. Для визуального сравнения получаемых карт осадков на рис. 8 представлены примеры восстановленных интенсивностей по состоянию на 28.05.2023.

 

Рис. 7. Диаграммы рассеяния для значений интенсивности осадков по данным GPROF и APNA для воды (а) и для суши (б).

 

Рис. 8. Интенсивность осадков по данным GPROF (a) и APNA (б).

 

Валидация по данным наземных радиолокаторов сети NIMROD

В качестве независимого источника данных об осадках в настоящей работе используются наземные измерения европейской радиолокационной сети метеорадаров C-диапазона для анализа и прогноза погоды NIMROD. Все радарные измерения калибруются и корректируются с учетом помех, идущих от подстилающей поверхности. Данные об интенсивности осадков имеют высокое пространственное разрешение (1 км для Великобритании, 5 км для Европы) и предоставляются каждые 15 минут.

По аналогии с данными MIRS и GPROF, оценка качества с использованием данных NIMROD проводилась как для полей осадков, так и их интенсивностей. Ввиду большого различия в пространственном разрешении между ATMS и наземными радарами, для более корректных оценок интенсивностей осадков в работе применяется метод “нечеткого” сопоставления, суть которого заключается в поиске ближайшего измеренного значения в некоторой окрестности рассматриваемой точки (Ebert et al., 2008). Однако такой подход имеет место, когда сопоставляемые интенсивности изменяются в узком диапазоне на больших площадях, например, при обложных осадках. Для ливневых осадков, особенно быстрого и локального характера, данная методика сопоставления мало пригодна по ряду причин. Во-первых, за счет низкого пространственного разрешения ATMS будет сильно недооценивать ливневые осадки по сравнению с радарами, и сопоставление в определённой окрестности не улучшит статистику. Во-вторых, при широком диапазоне изменчивости интенсивностей осадков в исследуемой окрестности при поиске ближайшего по значению радарного и спутникового измерения с большой долей вероятности искомые оценки интенсивностей будут близки, что приведет к неверным результатам полученной статистики. Для решения вопроса сопоставления радарных и спутниковых измерений был использован следующий подход. Данные NIMROD приводились к географической сетке ATMS, затем отбирались измерения при условии, что в окрестности 5×5 пикселей среднеквадратическое отклонение по интенсивности не превышало 3 мм/ч, при этом временное различие между измерениями NIMROD и ATMS были меньше 5 минут. В таблице 6 представлены значения валидационных метрик для задачи обнаружения осадков, а также результаты сопоставления данных NIMROD и APNA.

 

Таблица 6. Оценка точности в сравнении с NIMROD

Подстилающая поверхность	Кол-во точек	POD	FAR	CSI	RMSE, мм/ч	Bias, мм/ч	R
Суша	3469	0.78	0.22	0.64	1.37	–0.06	0.47

 

На рис. 9 представлена диаграмма рассеяния значений интенсивности осадков по данным NIMROD и APNA. На диаграмме также отмечены ошибки RMSE и Bias для осадков разной интенсивности. Средняя точность обнаружения осадков в данном случае составила около 78 %, в то время как количество ложных классификации не превышает 22 %. Ошибка RMSE для значений интенсивности имеет значение ∼1.37 мм/ч, однако в данном случае наблюдается существенная недооценка значений высокой интенсивности (см. рис. 10). Одна из возможных причин этой недооценки заключается в сложности сопоставления осадков у подстилающей поверхности и в облаке, особенно для мощных конвективных форм с характерными для них ливневыми осадками высокой интенсивности. Здесь стоит отметить, что интенсивности осадков в двух точках, удаленных на сравнительно небольшое расстояние (менее одного километра), могут быть существенно различными (Матвеев, 1984). На момент выпадения дождевой капли из облака на нее воздействует большое количество факторов, в числе которых ветер, меняющий траекторию полета капли, влажность и температура, влияющие на процесс ее испарения и др. Это приводит к тому, что координата падения капли может не соответствовать точке падения у земли, а интенсивность до и после падения может быть различной, что приводит к ошибкам спутниковых оценок. Как следствие, недооценка интенсивности осадков при сравнении с наземными измерениями более ярко выражена в сравнении с другими спутниковыми оценками. В виду того, что в настоящей работе авторы акцентируют внимание в первую очередь на осадках малой и средней интенсивности как наиболее частом явлении (см. распределение осадков на рис. 3), можно считать полученные результаты подобными аналогичным результатам из других работ, например, по данным радиометра AMSU при сравнении с радарными данными в исследовании (Di Tomaso et al., 2009).

 

Рис. 9. Диаграмма рассеяния для значений интенсивности осадков по данным NIMROD и APNA.

 

Рис. 10. Интенсивность осадков по данным NIMROD (a) и APNA (б).

 

ОБСУЖДЕНИЕ И ВЫВОДЫ

В работе предложен алгоритм для расчета интенсивности осадков, использующий в качестве исходных данных измерения радиометра ATMS. Метод основан на применении полносвязных нейронных сетей для решения задачи классификации (обнаружения осадков) и регрессии (оценки мгновенных значений интенсивности) с использованием спектральных измерений МВ радиометра. Анализ рассчитанных валидационных метрик результатов представленного алгоритма APNA с результатами MIRS, GPROF и NIMROD показал достаточно высокую точность обнаружения осадков (POD>0.7, FAR<0.3). Наименьшую ошибку оценки интенсивности осадков показали результаты сравнения с данными MIRS со средним показателем RMSE: для воды – 0.78 мм/ч (0.56 мм/ч для слабых осадков, 4.86 мм/ч для очень сильных), для суши – 0.84 мм/ч (0.7 мм/ч для слабых осадков, 6.22 мм/ч для очень сильных). Численный и визуальный анализ результатов APNA и MIRS показал высокую степень соответствия оценок интенсивности осадков двух алгоритмов. При сравнении результатов APNA и GPROF средний показатель RMSE составил: для воды – 1.27 мм/ч (1.14 мм/ч для слабых осадков, 7.01 мм/ч для очень сильных), для суши – 0.9 мм/ч (0.81 мм/ч для слабых осадков, 6.78 мм/ч для очень сильных). Несмотря на то, что алгоритмы MIRS и GPROF основаны на байесовском подходе, GPROF незначительно завышает интенсивность осадков по всем градациям, особенно для очень сильных осадков. Что касается NIMROD, в силу значительно лучшего пространственного разрешения данные имеют высокую чувствительность к конвективным облакам с малыми геометрическими размерами, что вызывает трудности при прямом сопоставлении радарных и спутниковых данных для ATMS. И результатом такого сопоставление является довольно слабая корреляция со значением R=0.47 в виду недооценки количества крупных осадков.

Результаты проведенной валидации подтверждают работоспособность представленной нейросетевой методики восстановления интенсивностей осадков. Получаемые карты могут служить в качестве источника информации об осадках при ограниченности непосредственных наземных измерений или в качестве источника калибровки интенсивностей осадков, восстанавливаемых по данным геостационарных КА на основе измерений в ИК спектре. Стоит отметить, что методика разрабатывалась непосредственно для жидких осадков в теплый период года, так как влияние снега и льда на точность восстановления интенсивности осадков требует дополнительного исследования и доработки представленного алгоритма. Основное преимущество представленной методики по сравнению с классическими физическими методами оценки интенсивности осадков заключается в ее быстродействии при сохранении требуемого качества получаемой информации. Для адаптации представленного алгоритма APNA к другим спутниковым приборам, например, МТВЗА-ГЯ, потребуется формирование новой обучающей выборки и ее балансировки, однако в целом сам нейросетевой подход останется неизменным.

About the authors

A. A. Filei

Far-Eastern Center of State Research Center for Space Hydrometeorology “Planeta”

Author for correspondence.
Email: andreyvm-61@mail.ru
Russian Federation, Khabarovsk

A. I. Andreev

Far-Eastern Center of State Research Center for Space Hydrometeorology “Planeta”

Email: andreyvm-61@mail.ru
Russian Federation, Khabarovsk

References

Supplementary files