Вакансия: Специалист по Data Mining

В качестве специалиста по Data Mining вам необходимо будет выполнять следующие задачи:

• Участвовать в разработке отчетной системы.
• Разрабатывать и поддерживать batch ETL-процессы с использованием Python, SQL и Airflow.
• Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ).
• Дорабатывать и развивать хранилище данных, строить витрины данных.
• Интегрировать новые источники данных в DWH.
• Реализовывать проверки качества данных (DQ).
• Внедрять новые инструменты по работе с данными в компании.
• Выстраивать процессы коммуникации с заказчиками.

От кандидата ожидаются следующие навыки и знания:

• Хорошее знание SQL - оконные функции, сложные join'ы, подзапросы, опыт оптимизации больших SQL запросов.
• Понимание принципов работы реляционных и колоночных СУБД, опыт проектирования DWH, моделирование данных и разбиение по слоям.
• Хорошее знание Python (навыки работы с Pandas будут плюсом) и опыт построения data pipelines с использованием Airflow.
• Владение инструментами - Git, Docker, навыки работы с NoSQL СУБД.
• Знание технологий - DBT, Debezium, Greenplum, Spark, Data Lake, k8s, PowerBI, Apache NiFi.

Местоположение: г. Алматы, Алмалинский район