МЕТЕОФОРУМ: форум о погоде и климате

Цитата: Kostian от 23 февраля 2020, 17:58:04
Еще что меня удивило, это очень плохая оправдываемость прогнозов по Санкт-Петербургу на первые двое суток: модели промахиваются в каждом третьем случае! А вот на 3-5 сутки оправдываемость резко возрастает и составляет уже 90-95%. Так что жителям Петербурга можно порекомендовать не смотреть прогнозы на ближайшие два дня, а сверяться с прогнозом за трое суток до срока, тогда достоверность полученного прогноза будет гораздо выше. Почему так - пока выяснить не удалось.

А Вы не рассматривали оправдаемость всяких японских и австралийских моделей которые один участник любит?

Цитата: Paxan96 от 23 февраля 2020, 17:59:47
А Вы не рассматривали оправдаемость всяких японских и австралийских моделей которые один участник любит?

Нет меня пока интересует оправдываемость прогнозов на своем сайте и способы ее повышения для Арктики, Чукотки, Казахстана и другим регионам, где сырые модельные прогнозы выдают полную ерунду.

Kostian

А как ведут себя в этом плане ансамблевые прогнозы?

Цитата: TimTimTim от 23 февраля 2020, 18:10:41
Kostian

А как ведут себя в этом плане ансамблевые прогнозы?

Я раздумываю над тем, чтобы усреднять несколько прогонов и делать временной ансамбль. Но тут палка о двух концах. Может быть такая ситуация: самый первый прогноз оказался крайне плохим и  содержит пролет на 25 градусов. На следующий день этот прогон исправился и все последующие имеют точность 2 градуса. Если мы сделаем временной ансамбль и будем учитывать самый первый прогон несколько дней подряд, то получится, что мы испортим оправдываемость не одного, а сразу нескольких прогнозов.  Так что, пожалуй, более реально пока что исправлять систематические ошибки моделей (занижение/завышение в повторяющихся день за днем условиях) с помощью поправок. А в таких случаях, когда модель рисует антициклон вместо циклона, пролетая на 15 гПа по давлению и на 25 градусов по температуре,  ничего не сделаешь... В Арктике на 10 дней вперед такие пролеты могут быть запросто.

Попробовал поработать с поправками: проанализировал фактическую погоду за последние две недели и сравнил ее с прогнозами. Вычислил ошибки модельных прогнозов для каждого из 500 пунктов  и на основании этих ошибок попробовал рассчитать поправки для различной погоды (поправки, очевидно, будут отличаться для солнечной, пасмурной погоды или снегопада).  Результаты получились вполне удовлетворительные: по целому ряду точек оправдываемость модельного прогноза на 10 суток сильно возросла.

К примеру, для такого прибрежного города как Ялта, модели дают очень плохие прогнозы: оправдываемость прогноза на 10 дней по Ялте составляет всего 32%. Применение поправок позволяет радикально улучшить качество прогнозирования: оправдываемость возрастает практически вдвое - до 60%.   Самый большой выигрыш от использования поправок получается в Бурятии: как и в Ялте, там просто ужасное качество модельного прогноза, однако использование поправок позволяет улучшить оправдываемость на 30-35%.

А вот по арктическим островам пока ничего не получилось: слишком уж там непредсказуемая погода. Что с поправками, что без поправок - полная ерунда. Хорошо, что там практически некому смотреть прогнозы. 

Еще поанализирую полученные результаты, допилю скрипты и запущу в боевом режиме использование поправок в прогнозах сайта "Погода и климат" в ближайшие дни.

Не для всех регионов поправки работают. Например, для Москвы поправки сложно подобрать: модели примерно с одинаковой вероятностью пролетают то в плюс, то в минус. Поэтому поправки в 50% случаев улучшают прогноз, в 50% - ухудшают его.  В конечном итоге, остаются те же 84% оправдываемости на 10 суток, что, в общем, весьма неплохо.

Вот оказывается почему я так люблю Рединга:    он дает самую высокую оправдываемость по Беларуси, особенно по восточной половине (но и для Гродно тоже): прогнозы на 5 дней вперед оправдываются на 98-100%, на 10 дней вперед - на 92%.  Так что белорусам можно смело смотреть прогнозы на моем сайте - сбываются практически всегда, даже в таком сложном для прогнозирования месяце, как февраль.

Цитата: Kostian от 24 февраля 2020, 02:01:57
Так что белорусам можно смело смотреть прогнозы на моем сайте - сбываются практически всегда, даже в таком сложном для прогнозирования месяце, как февраль.

Думаю не только белорусам можно смотреть, как по другим городам не знаю но для Омска неоднократно тоже замечал что на сайте погода и климат куда более точные прогнозы чем на других сайтах.

Цитата: Kostian от 24 февраля 2020, 02:01:57
Вот оказывается почему я так люблю Рединга:    он дает самую высокую оправдываемость по Беларуси, особенно по восточной половине (но и для Гродно тоже): прогнозы на 5 дней вперед оправдываются на 98-100%, на 10 дней вперед - на 92%.  Так что белорусам можно смело смотреть прогнозы на моем сайте - сбываются практически всегда, даже в таком сложном для прогнозирования месяце, как февраль.

Посмотрим, как оправдается прогноз Рэдинга на 27-е- 28-е для Москвы.
Это реально сложно. Сейчас 27-го мокрый снег, а 28-го б/о. В отличие от GFS, у которой 28-го снегозавалы ( а 27-е схоже с Рэдингом)

Часто сравниваю прогноз погоды на нашем сайте и фактические данные. В отношении Сочи постоянно идёт занижение на несколько градусов, даже относительно официальных данных с метеостанции. Например сегодня, по прогнозу Тмакс не должна была превысить +26С, а фактически зарегистрировано +32С. Разница в 6 градусов существенная! Может обратить внимание на это тех, кто выдаёт такое безобразие?

Цитата: Максим от 10 июня 2020, 23:47:50
Часто сравниваю прогноз погоды на нашем сайте и фактические данные. В отношении Сочи постоянно идёт занижение на несколько градусов, даже относительно официальных данных с метеостанции. Например сегодня, по прогнозу Тмакс не должна была превысить +26С, а фактически зарегистрировано +32С. Разница в 6 градусов существенная! Может обратить внимание на это тех, кто выдаёт такое безобразие?

Да, к сожалению, по Сочи прогноз сильно занижает. При этом отмечу, что к прогнозу дневной температуры применяется поправка +2 градуса, без этой поправки было бы и вовсе +24 в прогнозе, т.е ошибка составила бы не 6, а 8 градусов!  Попробую поискать другую точку прогноза с большей достоверностью: вероятно для координат Сочи модель сильно занижает температуру из-за близости Черного моря.

Спасибо за ответ.

Верификация и оправдываемость разных моделей

Оценки Гидрометцентра по ЕТР. Модельные расчёты прилагаются - http://method.meteorf.ru/estimate/estimate.html
Верификация разных моделей на сайте NOAA - https://www.emc.ncep.noaa.gov/users/verification/global/
Длинные ряды для разных моделей - https://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/longterm/
Оперативный мониторинг - https://www.emc.ncep.noaa.gov/gmb/STATS_vsdb/
Верификация моделей по Северной Америке от CMC - https://weather.gc.ca/verification/index_e.html

Проверка оправдываемости разных сайтов от ГМЦ. Для 53 станций России - http://193.7.160.230/web/osio/meteogram/
Верификация прогнозов CFS - https://www.cpc.ncep.noaa.gov/products/people/mchen/CFSv2HCST/metrics/
Показатели качества прогноза температуры воздуха климатической модели CFSv2 на один месяц - http://www.winstein.org/publ/29-1-0-5699

Как росла точность компьютерных моделей прогнозирования погоды?



На графике показана оправдываемость прогноза барического поля на 5 суток для 7 компьютерных моделей с 1984 по 2017 гг.

Отчётливо видно, что современные модели прогнозируют барическое поле на 5 суток с точностью 89-95%. Особенно это касается Европейской модели ECMWF, которая демонстрирует самую высокую оправдываемость. В 2019 году её точность была 93% на 5 суток и 67% на 8 суток.

Данные: NOAA