Учебный проект курса "Симулятор аналитика" от karpov.courses.
DAG в airflow, который считается каждый день за вчерашний день.
-
Параллельно обрабатываем две таблицы. В feed_actions для каждого юзера считаем число просмотров и лайков контента. В message_actions для каждого юзера считаем, сколько он получает и отсылает сообщений, скольким людям он пишет, сколько людей пишут ему. Каждая выгрузка - в отдельном таске.
-
Далее объединяем две таблицы в одну.
-
Для этой таблицы считаем все эти метрики в разрезе по полу, возрасту и ос. Делаем три разных таска на каждый срез.
-
И финальные данные со всеми метриками записываем в отдельную таблицу в ClickHouse.
-
Каждый день таблица дополняется новыми данными.