Как технологии помогают предсказывать погоду
Но сначала — основные понятия:
-
По всему миру работают метеоплощадки с расположенными на них метеостанциями — с использованием одинаковых приборов. Они собирают данные о погоде в определённом радиусе.
-
Также по всему миру запускаются метеозонды. Они поднимаются на высоту до 20 км и передают данные, которые на земле обобщаются и анализируются.
-
Метеорадары с определённой периодичностью делают трёхмерные снимки атмосферы в радиусе 250 км. В их работе могут быть помехи из-за больших сооружений или гор, препятствующих распространению радиосигнала.
-
Сверху за процессами в атмосфере Земли наблюдают метеорологические спутники, отслеживающие не только перемещения облаков, но и выбросы вулканов, дым лесных пожаров, техногенные загрязнения воздуха, песчаные и пыльные бури.
-
Данные из всех этих источников поступают в суперкомпьютеры метеорологических служб и агентств. Для обработки информации о погоде со всего мира необходима огромная производительность — тысячи триллионов операций в секунду. Все национальные метеослужбы мира (в России это Гидрометцентр) передают данные во Всемирную метеорологическую организацию, образуя в итоге единую глобальную сеть.
Конечно, не всегда метеорологи обладают полным набором данных, необходимых для максимально точного прогноза. Метеостанции расположены далеко друг от друга в разных регионах планеты и не покрывают всю её поверхность. Метеозонды запускаются не везде, возможности спутников ограниченны. Человеческий фактор тоже необходимо принимать во внимание: людям свойственно ошибаться как при настройке и запуске оборудования, так и при анализе получаемых от него сигналов.
Некоторые погодные явления вообще трудно поддаются прогнозированию и выявлению — из-за их сложной природы, которую невозможно описать формально для автоматизированной обработки данных. Более высокой точности удаётся достичь в крупных городах, где расположено множество метеостанций, без разрывов покрывающих всю территорию.
Многое зависит сейчас от искусственного интеллекта. По мере того как развиваются технологии, направленные на обучение и работу нейросетей, улучшается и точность прогнозирования.
Александр, расскажите в общих чертах, как работает Метеум
Метеум — это технология, где с помощью машинного обучения мы составляем прогнозы погоды. Всего у нас около 40 ML-моделей — для разных погодных параметров и разных сроков. Прогноз технология делает на основе пяти глобальных моделей — европейских ECMWF и ICON, американской GFS, канадской CMC, японской JMA — и собственной региональной модели на базе WRF с открытым исходным кодом. Также мы используем результаты наблюдений метеостанций, радиозондов, радаров, спутников, учитываем данные с морских судов и датчиков самолётов. Важный источник данных о погоде — сообщения пользователей Яндекс Погоды, которые говорят нам, где идёт дождь, а где нет.
Эта информация даёт понять, какая температура, давление, влажность и другие погодные параметры в тех местах, где мы провели измерения. С помощью машинного обучения система анализирует эти сведения. Она составляет прогноз двух видов: краткосрочный, на ближайшие двое суток, с интервалом в час, и долгосрочный, с третьих по десятые сутки, там интервал уже три часа. Прогноз рассчитывается в разрешении 2 × 2 км для суши и 10 × 10 км для океанов.
Важно, что с помощью машинного обучения мы находим оптимальную комбинацию всех прогнозов. Чтобы повысить качество прогноза, можно добавлять дополнительные факторы: высоту над уровнем моря или удалённость от водоёма. Либо уточнять ландшафт — это город, пустыня, лес и так далее. К примеру, метеоролог, опираясь на свой опыт, может поправить прогноз погоды вручную или сделать его точнее. А мы делаем это автоматически, потому что обобщаем информацию об ошибках и пытаемся их уменьшить.
Здорово! Может ли в будущем метеорологическая модель так прокачаться в точности, что спутники окажутся не нужны?
При нашей жизни такого не будет, потому что в моделях заложена довольно большая неопределённость. Важно знать, какая погода сейчас, от этого зависит точность нашего прогноза. Спутники обеспечивают нас большой плотностью измерений по всей планете, поэтому средства измерения нельзя убирать — наоборот, их нужно развивать.
Логично, что чем больше информации поступает от радаров, тем лучше прогноз. Как увеличить их количество?
Поставить радар не так просто: как минимум нужно получить лицензию на частоты. Радар работает на определённой частоте, например 5 ГГц, и может создавать помехи для других устройств, работающих в этом диапазоне. Как в случае с одним несертифицированным китайским роутером, который создал забавные артефакты на карте осадков.
Более того, радар нужно обеспечить электропитанием, а для его установки должна быть выделена земля. Это задача национальных служб, которые совместно с государством осуществляют контроль и дают соответствующие разрешения.
Ещё есть небольшие радары, устанавливаемые на кораблях или самолётах. Вот их можно сделать мобильными.
А откуда ещё мы можем получить сведения о погоде, кроме прямых источников — радаров, спутников, зондов, станций и метеомоделей?
На мой взгляд, тут нужно использовать менее профессиональные средства, что в Яндексе и начали делать. Мы собираем сообщения пользователей: идёт в конкретной локации дождь или нет.
Информацию можно получить и другими косвенными способами. Например, с разных датчиков в умных домах или в машинах — connected cars.
Также есть любительские метеостанции, такие как популярная в Европе сеть Netatmo. Национальная метеослужба в Скандинавии использует их в моделях прогноза погоды, за счёт чего повысилась точность.
Можно использовать такие косвенные показатели, как сила сигнала мобильного телефона, дающая информацию, есть дождь или нет. Но надо учитывать, что сигнал может пропасть, когда человек в лифте или телефон просто поворачивается в пространстве. Также можно ориентироваться на тарелки спутникового телевидения, где есть связь со спутником: во время грозы сигнал вообще перестаёт поступать.
Плюс мобильной связи и спутникового телевидения — они есть там, где живут люди. Благодаря этому даже без радаров можно восстановить информацию о погоде, пусть и косвенным способом.
Косвенные источники сведений о погоде довольно «шумные», но из них можно выделить полезный сигнал. Весь массив информации, доступной в современном мире, может дополнять ту, что получают с помощью профессиональных средств наблюдения. Машинное обучение позволяет скомбинировать всё это многообразие больших данных. Нужно развивать такие направления, поскольку, на мой взгляд, именно за этим будущее.
Можем ли мы сейчас силами нейросетей предсказывать не только дождь и ветер, но и более разрушительные явления — тайфуны или смерчи?
Нейросеть, как и любые модели машинного обучения, можно научить чему угодно. Если мы подготовим обучающую выборку таким образом, чтобы туда попали ситуации с тропическими циклонами или смерчами, сеть сможет всё это обобщить. При возникновении предпосылок даже в тех регионах, где раньше их не наблюдалось, на основе схожих погодных паттернов можно сделать вывод о вероятности возникновения смерча или тайфуна.
Конкретно Метеум обучается на всём мире, не только на российских примерах. Мы тоже можем воспроизводить неблагоприятные погодные явления, но специально на них не фокусируемся: над ними работали в регионах, где подобное происходит чаще.
Есть ли у Метеума данные, которые говорят о глобальном изменении климата? Можно ли предсказать не погоду, а климат через 20, 30, 100 лет?
Кроме моделей прогнозов погоды, шесть из которых мы использовали в Метеуме, есть гораздо больше моделей климатического моделирования с немалым количеством сценариев в каждой. Условно говоря, в каждой климатической модели есть по 10 сценариев, как будет развиваться человечество. Соответственно, на их основании делают много разных прогнозов. Технология машинного обучения Метеум хорошо ложится на климатическое моделирование, потому что здесь мы получаем ещё больше разнородной информации о температуре и о том, как она будет меняться в ближайшие 100 лет. Машинное обучение позволяет улучшить как пространственное разрешение, так и временную дискретизацию.
Но климатическими проекциями мы занимаемся скорее в рамках наших продуктов для бизнеса, где проводим оценки климатических рисков. Например, как будет меняться погода в конкретном регионе.
Попробуем взглянуть в межпланетное будущее метеорологии. Как сильно придётся менять модель Яндекса, чтобы смотреть погоду на Венере или на Марсе?
Физические законы во всём мире одинаковы, модели будут работать и на Венере, и на Марсе. Но мы не можем точно всё подсчитать: нам не так хорошо доступна информация, какая там погода.
Сначала на этих планетах необходимо создать хорошую сеть наблюдений, чтобы накопить историю, информацию о погоде. Для обучения технологии нужно показать примеры, какая погода была на Марсе и Венере.
Также важно, что погода на других планетах сильно отличается от земной. По данным NASA, средняя температура на Марсе — −62 °C, а на Венере — +500 °C. Мы такого модели не показывали, она может сойти с ума от подобных данных. Стоит собрать репрезентативную выборку наблюдений на планетах и дообучить модель. Вот тогда всё будет возможно!
