МЕТЕОФОРУМ: форум о погоде и климате

Общий раздел о погоде => Прогнозы погоды => Тема начата: Coltan от 29 Ноябрь 2018, 20:33:07

Название: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 29 Ноябрь 2018, 20:33:07
Предлагаю периодически сравнивать прогнозы ансамбля с фактом.

Барика и геопотенциал за 25 ноября 6 UTC

Прогноз от 12UTC 16 ноября

(http://images.vfl.ru/ii/1542402132/313a8216/24230682.png)

И факт

(http://images.vfl.ru/ii/1543512467/3172e3f9/24406230.png)

Тут главный косяк в том , что ансамбль не углядел достаточно глубокий циклон в районе Красноярского края.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 07 Декабрь 2018, 00:34:35
Прогноз барики и геопотенциала на 0UTC 6 декабря. Сравнение

Прогноз от 27 ноября 12UTC

(http://images.vfl.ru/ii/1543359576/053d9f57/24381800.png)

Прогноз от 1 декабря 0UTC

(http://images.vfl.ru/ii/1543664010/4b71505d/24425896.png)

Факт

(http://images.vfl.ru/ii/1544131802/d7f60eb5/24502523.png)

Прогноз с заблаговременностью 5 суток оказался намного точнее прогноза с заблаговременностью 8.5 суток. Из недочетов - не угадана северная часть ложбины над Украиной и Беларусью.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 10 Декабрь 2018, 00:42:53
Прогноз барики и геопотенциала на 18UTC 9 декабря. Сравнение

Прогноз от 6UTC 3 декабря

(http://images.vfl.ru/ii/1543840244/d72a79c5/24454285.png)

Факт

(http://images.vfl.ru/ii/1544391562/c71b9244/24539244.png)

Есть некоторые недочеты по востоку ЕТР , циклон над Скандинавией не совсем там находится... Но в целом приемлемо.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 12 Декабрь 2018, 23:24:43
Прогноз барики и геопотенциала на 12UTC 12 декабря. Сравнение (дальний хвост)

Прогноз от 6UTC 3 декабря

(http://images.vfl.ru/ii/1543840245/91ddde31/24454287.png)

Факт

(http://images.vfl.ru/ii/1544645731/9f109af2/24578785.png)

Для столь дальних сроков угадано на удивление хорошо. Недооценена глубина ложбины над восточной Европой (которая даже оформилась в ВЦ) , и как следствие сильно недооценена глубина ЮЦ в Причерноморье.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 13 Декабрь 2018, 02:43:22
Прогноз барики и геопотенциала на 6UTC 1 декабря. Сравнение

Прогноз от 24 ноября

(http://images.vfl.ru/ii/1543071927/e17c69be/24335746.png)

Факт

(http://images.vfl.ru/ii/1543664488/4f6dbd6b/24426004.png)

По прогнозу от 24 числа гребень был менее выражен. Ансамбль от 26 числа спрогнозировал гребень точнее , но это был прогноза для 1 декабря 12UTC  , поэтому не совсем корректно приводить его для 6UTC.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 13 Декабрь 2018, 19:09:24
Прогноз барики и геопотенциала на 18UTC 12 декабря. Сравнение

Прогноз от 12 UTC 6 декабря

(http://images.vfl.ru/ii/1544132336/4e754a97/24502565.png)

Факт

(http://images.vfl.ru/ii/1544717076/cd2713ba/24587849.png)

Здесь уже гораздо точнее спрогнозирована глубина ЮЦ и его положение , но погрешность в несколько сотен километров - все же не сказать , что очень близко к идеалу.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 29 Декабрь 2018, 21:29:53
Ансамбль Рединга от 19 декабря

(http://images.vfl.ru/ii/1545252690/26984e1a/24662948.png)

12-Часовой Рединг , нулевая заблаговременность

(http://images.vfl.ru/ii/1546107612/c6cd8852/24768747.png)

По северу Евразии барическая конфигурация подсчитана более-менее точно , за исключением пожалуй гребня в районе Красноярского края. Самые большие пролеты по Канаде с северной Атлантике , где расположение циклонов не угадано совершенно.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Coltan от 30 Декабрь 2018, 23:12:35
Ансамбль ГЕФС от 21 числа на 29 декабря 18UTC

(http://images.vfl.ru/ii/1545414820/a7eaef1d/24683728.png)

Факт

(http://images.vfl.ru/ii/1546200541/632e2ab1/24778772.png)

Депрессию над Черным морем ГЕФС не разглядел. Из мелочей - гребень в Красноярском крае по факту сильнее , а над Скандинавией - слабее.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: MrX от 06 Декабрь 2019, 10:45:41
Слежу за CFS. И если суточные ансамбли мотает туда-сюда, то по 10-дневным ситуация стабильная.
И это помогает не обращать внимания на периодические сказки хвостов отдельных прогонов GFS.
Начало зимы в Питере переносится на конец января 2020).
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Alter от 06 Декабрь 2019, 12:41:47
Самые большие пролеты по Канаде с северной Атлантике , где расположение циклонов не угадано совершенно.
Не раз замечал за этим ансамблем сильные пролеты именно по Северной Америке, тогда как в Евразии все всегда как минимум прилично.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Winter_storm от 06 Декабрь 2019, 14:12:36
Слежу за CFS. И если суточные ансамбли мотает туда-сюда, то по 10-дневным ситуация стабильная.
И это помогает не обращать внимания на периодические сказки хвостов отдельных прогонов GFS.
Начало зимы в Питере переносится на конец января 2020).

Ждёте повторение декабря 2006 и января 2007?
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Alter от 06 Декабрь 2019, 14:26:42
В этот раз, однако, именно по СА-сектору прогноз вышел весьма хорош, а вот по Европе из-за сильной болтанки хвоста прогноз изначально был размытый, но реальность, в целом, за пределы отклонений ансамбля не вышла

(http://www.meteociel.fr/modeles/ecmwf/archives/2019112600/EDH1-240.GIF?00)
(http://www.meteociel.fr/modeles/ecmwf/runs/2019120600/ECH1-0.GIF?06-12)
Опять же из-за болтанки реализовавшийся в итоге сценарий с низким арктическим АЦ скрылся за другими членами.
По распределению аномалий:
(http://www.meteociel.fr/modeles/ecmwf/archives/2019112600/EDH101-240.GIF?00)
(http://www.meteociel.fr/modeles/ecmwf/runs/2019120600/ECH101-0.GIF?06-12)
Основные ошибки в восточной Сибири и на востоке Северной Америки. Распространение Азорского гребня на восток также оказалось заметно выше среднего по ансамблю.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Spasatel от 11 Январь 2020, 19:23:49
Выход волнового циклона в центр ЕТР и прогноз  осадков оказались очень трудной задачей для ГДМ.
На протяжении 10-ти последних дней сценарии, с ним связанные ,мелькали как в калейдоскопе.
То ГДМ вообще отказывались от сценария с волновым циклоном (на его месте был АЦ), то возвращались к прежнему сценарию,  но не могли определиться с траекторие циклона и кол-вом осадков (иногда и фазой).
Последний виток произошел позавчера. В прогонах за 12 GFS, Рэдинг и UKMET сошлись на том, что зона осадков не затронет Москву.
Это уже прогноз на +42+48.
Единодушие моделей насчет отсутствия осадков в Москве сохранилось и в утренних прогонах. В 12 utc UKMET спрогнозировал умеренные осадки в Москве, след за ним Рэдинг - 3.5 мм. GFS же в прогонах за 12 и даже 18! по-прежнему выдавала 0.1 мм.
Наконец, в сегодняшнем прогоне за 0 появилась цифра - 1.3 мм.
В итоге на ВВЦ выпало 5 мм :)
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 23 Февраль 2020, 17:54:00
Решил проанализировать оправдываемость прогнозов на сайте "Погода и климат" за последний месяц. Напомню, что табличный прогноз предоставляется на 3 дня, на 7 дней и на 14 дней.  http://www.pogodaiklimat.ru/forecast.php   Прогноз с заблаговременностью 6-288 часов - это микс Рединга и других европейских моделей, на 234-336 - это GFS. Сравнение с фактом производилось по всем 500 метеостанциям, входящим в климатический монитор.  Выяснилось, что наибольшая оправдываемость приходится на заблаговременность 6-12 часов и составляет 81%. Вплоть до заблаговременности 5 дней оправдываемость держится на уровне выше 70%, после чего быстро падает к 10-му дню до 40%. Хвост прогноза (10-14 сутки по GFS) имеет очень низкую оправдываемость - всего 38%. Так же интересно отметить, что оправдываемость прогноза сильно зависит от региона. По востоку Беларуси и Смоленской области прогноз в течение последнего месяца имел очень высокую оправдываемость - 98% вплоть до 7-го дня прогноза, а на первые 5 суток оправдываемость и вовсе была практически 100%-ной.  С другой стороны, для арктических островов и Чукотки модельные прогнозы имеют очень плохую оправдываемость: даже на первые сутки она не выше 50-60%, а хвост прогноза GFS и вовсе попадает в цель лишь в 12% случаев.

(http://www.pogodaiklimat.ru/files/forecasts_202002.jpg)
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 23 Февраль 2020, 17:58:04
Еще что меня удивило, это очень плохая оправдываемость прогнозов по Санкт-Петербургу на первые двое суток: модели промахиваются в каждом третьем случае! А вот на 3-5 сутки оправдываемость резко возрастает и составляет уже 90-95%. Так что жителям Петербурга можно порекомендовать не смотреть прогнозы на ближайшие два дня, а сверяться с моделями за трое суток до срока, тогда достоверность полученного прогноза будет гораздо выше. Почему так - пока выяснить не удалось.
Причем такие парадоксальные пролеты прогнозов отмечаются только непосредственно по метеостанции 26063, по Ленинградской области оправдываемость прогнозов первые двое суток: 95-100%.  Интересно, что там в городе такого химичат, что температура ведет себя так неадекватно?  Неужели на метеостанции ИЦП подделывают результаты измерений?
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Paxan96 от 23 Февраль 2020, 17:59:47
Еще что меня удивило, это очень плохая оправдываемость прогнозов по Санкт-Петербургу на первые двое суток: модели промахиваются в каждом третьем случае! А вот на 3-5 сутки оправдываемость резко возрастает и составляет уже 90-95%. Так что жителям Петербурга можно порекомендовать не смотреть прогнозы на ближайшие два дня, а сверяться с прогнозом за трое суток до срока, тогда достоверность полученного прогноза будет гораздо выше. Почему так - пока выяснить не удалось.
А Вы не рассматривали оправдаемость всяких японских и австралийских моделей которые один участник любит?
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 23 Февраль 2020, 18:06:29
А Вы не рассматривали оправдаемость всяких японских и австралийских моделей которые один участник любит?

Нет меня пока интересует оправдываемость прогнозов на своем сайте и способы ее повышения для Арктики, Чукотки, Казахстана и другим регионам, где сырые модельные прогнозы выдают полную ерунду.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: TimTimTim от 23 Февраль 2020, 18:10:41
Kostian

А как ведут себя в этом плане ансамблевые прогнозы?
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 23 Февраль 2020, 18:42:05
Kostian

А как ведут себя в этом плане ансамблевые прогнозы?

Я раздумываю над тем, чтобы усреднять несколько прогонов и делать временной ансамбль. Но тут палка о двух концах. Может быть такая ситуация: самый первый прогноз оказался крайне плохим и  содержит пролет на 25 градусов. На следующий день этот прогон исправился и все последующие имеют точность 2 градуса. Если мы сделаем временной ансамбль и будем учитывать самый первый прогон несколько дней подряд, то получится, что мы испортим оправдываемость не одного, а сразу нескольких прогнозов.  Так что, пожалуй, более реально пока что исправлять систематические ошибки моделей (занижение/завышение в повторяющихся день за днем условиях) с помощью поправок. А в таких случаях, когда модель рисует антициклон вместо циклона, пролетая на 15 гПа по давлению и на 25 градусов по температуре,  ничего не сделаешь... В Арктике на 10 дней вперед такие пролеты могут быть запросто.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 24 Февраль 2020, 01:40:12
Попробовал поработать с поправками: проанализировал фактическую погоду за последние две недели и сравнил ее с прогнозами. Вычислил ошибки модельных прогнозов для каждого из 500 пунктов  и на основании этих ошибок попробовал рассчитать поправки для различной погоды (поправки, очевидно, будут отличаться для солнечной, пасмурной погоды или снегопада).  Результаты получились вполне удовлетворительные: по целому ряду точек оправдываемость модельного прогноза на 10 суток сильно возросла.

К примеру, для такого прибрежного города как Ялта, модели дают очень плохие прогнозы: оправдываемость прогноза на 10 дней по Ялте составляет всего 32%. Применение поправок позволяет радикально улучшить качество прогнозирования: оправдываемость возрастает практически вдвое - до 60%.   Самый большой выигрыш от использования поправок получается в Бурятии: как и в Ялте, там просто ужасное качество модельного прогноза, однако использование поправок позволяет улучшить оправдываемость на 30-35%.

А вот по арктическим островам пока ничего не получилось: слишком уж там непредсказуемая погода. Что с поправками, что без поправок - полная ерунда. Хорошо, что там практически некому смотреть прогнозы.  ;D

Еще поанализирую полученные результаты, допилю скрипты и запущу в боевом режиме использование поправок в прогнозах сайта "Погода и климат" в ближайшие дни.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 24 Февраль 2020, 01:48:51
Не для всех регионов поправки работают. Например, для Москвы поправки сложно подобрать: модели примерно с одинаковой вероятностью пролетают то в плюс, то в минус. Поэтому поправки в 50% случаев улучшают прогноз, в 50% - ухудшают его.  В конечном итоге, остаются те же 84% оправдываемости на 10 суток, что, в общем, весьма неплохо.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 24 Февраль 2020, 02:01:57
Вот оказывается почему я так люблю Рединга:  :)  он дает самую высокую оправдываемость по Беларуси, особенно по восточной половине (но и для Гродно тоже): прогнозы на 5 дней вперед оправдываются на 98-100%, на 10 дней вперед - на 92%.  Так что белорусам можно смело смотреть прогнозы на моем сайте - сбываются практически всегда, даже в таком сложном для прогнозирования месяце, как февраль.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Uriy2 от 24 Февраль 2020, 15:48:47
Так что белорусам можно смело смотреть прогнозы на моем сайте - сбываются практически всегда, даже в таком сложном для прогнозирования месяце, как февраль.
Думаю не только белорусам можно смотреть, как по другим городам не знаю но для Омска неоднократно тоже замечал что на сайте погода и климат куда более точные прогнозы чем на других сайтах.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Spasatel от 24 Февраль 2020, 16:16:33
Вот оказывается почему я так люблю Рединга:  :)  он дает самую высокую оправдываемость по Беларуси, особенно по восточной половине (но и для Гродно тоже): прогнозы на 5 дней вперед оправдываются на 98-100%, на 10 дней вперед - на 92%.  Так что белорусам можно смело смотреть прогнозы на моем сайте - сбываются практически всегда, даже в таком сложном для прогнозирования месяце, как февраль.
Посмотрим, как оправдается прогноз Рэдинга на 27-е- 28-е для Москвы.
Это реально сложно. Сейчас 27-го мокрый снег, а 28-го б/о. В отличие от GFS, у которой 28-го снегозавалы ( а 27-е схоже с Рэдингом)
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Максим от 10 Июнь 2020, 23:47:50
Часто сравниваю прогноз погоды на нашем сайте и фактические данные. В отношении Сочи постоянно идёт занижение на несколько градусов, даже относительно официальных данных с метеостанции. Например сегодня, по прогнозу Тмакс не должна была превысить +26С, а фактически зарегистрировано +32С. Разница в 6 градусов существенная! Может обратить внимание на это тех, кто выдаёт такое безобразие?
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Kostian от 11 Июнь 2020, 00:00:03
Часто сравниваю прогноз погоды на нашем сайте и фактические данные. В отношении Сочи постоянно идёт занижение на несколько градусов, даже относительно официальных данных с метеостанции. Например сегодня, по прогнозу Тмакс не должна была превысить +26С, а фактически зарегистрировано +32С. Разница в 6 градусов существенная! Может обратить внимание на это тех, кто выдаёт такое безобразие?

Да, к сожалению, по Сочи прогноз сильно занижает. При этом отмечу, что к прогнозу дневной температуры применяется поправка +2 градуса, без этой поправки было бы и вовсе +24 в прогнозе, т.е ошибка составила бы не 6, а 8 градусов!  Попробую поискать другую точку прогноза с большей достоверностью: вероятно для координат Сочи модель сильно занижает температуру из-за близости Черного моря.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: Максим от 11 Июнь 2020, 00:17:15
Спасибо за ответ.
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: matrix145 от 14 Октябрь 2020, 02:06:54
Верификация и оправдываемость разных моделей

Оценки Гидрометцентра по ЕТР. Модельные расчёты прилагаются - http://method.meteorf.ru/estimate/estimate.html
Верификация разных моделей на сайте NOAA - https://www.emc.ncep.noaa.gov/users/verification/global/
Длинные ряды для разных моделей - https://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/longterm/
Оперативный мониторинг - https://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/
Верификация моделей по Северной Америке от CMC - https://weather.gc.ca/verification/index_e.html

Проверка оправдываемости разных сайтов от ГМЦ. Для 53 станций России - http://193.7.160.230/web/osio/meteogram/
Верификация прогнозов CFS - https://www.cpc.ncep.noaa.gov/products/people/mchen/CFSv2HCST/metrics/
Показатели качества прогноза температуры воздуха климатической модели CFSv2 на один месяц - http://www.winstein.org/publ/29-1-0-5699
Название: Re: Сравнение модельных прогнозов с фактическими данными
Отправлено: matrix145 от 14 Октябрь 2020, 02:14:05
Как росла точность компьютерных моделей прогнозирования погоды?

(https://sun9-10.userapi.com/impf/O9ABf7gswYvpFgZMOKbUcGtsaoMgaHRITvifsg/l1nNct4kudk.jpg?size=1015x775&quality=90&proxy=1&sign=0fd43674419ffea61f4303a5f60d157c)

На графике показана оправдываемость прогноза барического поля на 5 суток для 7 компьютерных моделей с 1984 по 2017 гг.

Отчётливо видно, что современные модели прогнозируют барическое поле на 5 суток с точностью 89-95%. Особенно это касается Европейской модели ECMWF, которая демонстрирует самую высокую оправдываемость. В 2019 году её точность была 93% на 5 суток и 67% на 8 суток.

Данные: NOAA