Яндекс стал учитывать сообщения пользователей в прогнозах погоды
«Яндекс» запустил новую технологию прогноза погоды на основе машинного обучения Meteum 2.0. Как объясняют в компании, впервые в мире нейросеть, предсказывающая погоду, обучается не только на данных приборов и метеостанций, но и на сообщениях пользователей. В итоге краткосрочный прогноз осадков на «Яндекс.Погоде» стал на 20% точнее. Мы уже привыкли к информации пользователей в других сервисах «Яндекса»: например, в «Картах» можно наносить свои слои данных, а в «Навигаторе» автовладельцы делятся друг с другом информацией о ДТП, дорожных событиях и даже могут оставлять небольшие заметки с привязкой к точке на карте (правда, за контентом в «Разговорчиках» стали следить более тщательно).
В общем, пользователи вносят большой вклад в big data, а теперь благодаря им станет точнее даже прогноз погоды (чья актуальность остается поводом для большого количества анекдотов и мемом). Все дело в том, что сделать актуальный прогноз на самом деле очень сложно, поясняет «Яндекс» в блоге на «Хабре». «Мы пошли на такой шаг, потому что все модели и источники прогнозов были не идеальны, основаны на эмпирически подобранных формулах и время от времени ошибались. Но эти ошибки не случайны. Между ними можно искать закономерности», — говорят аналитики интернет-сервиса.
Первая версия Meteum была выпущена шесть лет назад и тогда использовала три источника данных. Сейчас их уже больше: из национальных центров США, Канады, Японии и ЕС, а также собственный прогноз «Яндекса» на основе модели с открытым исходным кодом WRF. Однако Meteum хорошо изучит локальные особенности там, где много станций, и хуже там, где станций мало. Судя по карте расположения метеостанций, из-за неравномерного покрытия точность прогноза погоды в Центральном федеральном округе будет лучше, чем на севере Сибири, где станций практически нет.
Именно с этим недостатком борется Meteum 2.0: теперь данные приборов дополняют сами пользователи. Ежедневно сервис получает больше миллионов сообщений об осадках. Это помогло улучшить краткосрочный прогноз осадков по всей стране, а особенно на Урале, в Сибири и на Дальнем Востоке. Прогноз осадков на два часа стал достаточно точен, чтобы решить, стоит ли именно сейчас выходить на прогулку или лучше переждать время.
«По нашим оценкам, в зонах, где были радары, мы смогли немного поднять качество прогнозов, а где их не было — приблизили качество к радарным наблюдениям. Технология хорошо масштабируется. Например, теперь с вашей помощью мы сможем закрыть мёртвую зону в районе Енисея, куда раньше не доставали спутники», — пишет «Яндекс». Отправить сообщение об осадках можно через приложение «Яндекс» или «Яндекс.Погода»: такие сообщения «Яндекc» отмечает зонтиками на карте осадков. И чем больше сообщений присылают пользователи, тем надёжнее прогноз.
Прогноз погоды на неделю тоже стал точнее по сравнению с первой версией Meteum. Теперь используется не три, а пять различных моделей прогноза, в том числе своя собственная. К ним добавили также данные спутниковых снимков и радаров. Информация обрабатывается с помощью модели машинного обучения на базе CatBoost и нейронных сетей. // www.telecomdaily.ru