Специалист по работе с большими данными

Основные обязанности:

• Разработка и поддержка ETL/ELT пайплайнов: Использование инструментов Airflow, dbt, Spark.
• Интеграция данных: Из различных источников, включая PostgreSQL, MSSQL, Oracle, S3, API.
• Сбор данных: Работа с внешними источниками, такими как REST API и базовый web scraping.
• Построение витрин данных: Создание DDS, Data Marts и широких таблиц.
• Оптимизация SQL-запросов: Повышение эффективности обработки данных.
• Подготовка датасетов: Для ML моделей и формирование feature store под руководством Senior/DS.

Подготовка данных для AI-сервисов:

• Обработка данных для обучения и инференса моделей.
• Участие в ML pipeline, включая подготовку данных и scoring.
• Работа с потоками данных: чтение/запись в Kafka без глубокой настройки.
• Участие в реализации событийных сценариев.

Участие в развитии платформы:

• Развитие Data Platform (Lakehouse).
• Работа под руководством Senior.
• Внесение предложений по улучшению процессов.

Местоположение: г. Алматы, Медеуский район.