Это был практический вебинар: мы показали, как настроить подготовку данных с помощью сервисов Yandex Cloud Functions и Yandex DataProc, формирование витрины данных на Yandex.Clickhouse и визуализацию с помощью Yandex DataLens.
Мы рассказали:
- как выгрузить данные из внешнего источника, очистить, обработать и конвертировать их в формат Apache Parquet;
- как написать функцию, которая будет ежедневно дополнять архив новыми данными;
- как написать задание в Yandex Data Proc, которое будет каждый день строить агрегаты и выгружать их в кластер ClickHouse;
- как визуализировать результат с помощью Yandex DataLens.
Вебинар будет полезен тем, кто хочет ознакомиться с сервисами подготовки, хранения и анализа данных в Яндекс.Облаке.
Уровень сложности: для специалистов со знанием кода.