Data Engineer

Обовʼязки:

• Розробка та підтримка ETL/ELT‑пайплайнів (batch і streaming) з використанням Python, Airflow та Cron.

• Автоматизація збору, очищення, розмітки та трансформації даних з різних джерел (логів, API, IoT/embedded-джерела).

• Проєктування і впровадження рішень з накопичення та зберігання даних.

• Оптимізація процесів зберігання та пошуку даних (partitioning, lifecycle, cost optimization) і покращення продуктивності регулярних аналітичних запитів.

• Планування й виконання міграцій даних між форматами/платформами з мінімальним ризиком втрати інформації.

• Реалізація інструментів контролю якості даних: валідації, метрик, alerting, виявлення дублів/аномалій/відсутніх значень.

• Підготовка «чистих» датасетів для аналітиків та data scientists; документування схем, трансформацій і lineage.

• Спільна робота з DevOps для деплою, моніторингу та надійності пайплайнів; участь у code review та інженерних рішеннях.

• Troubleshooting production‑інцидентів та підтримка регламентів операцій.
 

Вимоги:

• Професійне знання Python для обробки даних і автоматизації.

• Досвід з Apache Airflow (проєктування DAG, сенсори, таски, оператори, scheduling).

• Практика використання Cron для простих/legacy jobs.

• Досвід з NoSQL (MongoDB) та робота з великими обʼємами даних (терабайти за операцію/стрімінг).

• Досвід роботи з Azure Blob Storage або аналогічними об'єктними сховищами.

• Впевнене володіння Jupyter Notebooks для прототипування та підтримки аналітиків.

• Глибоке розуміння ETL/ELT підходів, incremental loads, принципів побудови datalake/warehouse.

• Вміння читати/оптимізувати SQL та SQL-подібні запити.

• Git, базові практики CI/CD, розуміння production deployment пайплайнів.

• Аналітичне мислення, увага до якості даних, комунікація зі стейкхолдерами.

Буде плюсом:

(особливо цінні) Snowflake, Elasticsearch

• Kafka або інші stream‑платформи; досвід роботи зі стрімінговою обробкою.

• Redpandas / pandas оптимізації для великомасштабної обробки.

• Ansible або інші інструменти автоматизації інфраструктури.

• Power BI або інші BI‑інструменти (для інтеграції та візуалізації).

• Grafana / Prometheus для моніторингу і alerting.

• Досвід міграцій до cloud DWH, робота з data lineage і governance.

Надаємо бронювання*