Data Engineer в продуктову компанію

Енергетичні ринки змінюються щомиті, і саме якісні дані визначають, хто виграє в цій гонці за секунди. Міжнародна продуктова компанія шукає Data Engineer, який посилить команду, що створює високонавантажену аналітичну екосистему для масштабного міжнародного трейдингу.

Обов'язки:

- Розробка, підтримка та оптимізація конвеєрів даних (ETL/ELT, batch/streaming) за допомогою Apache Spark.

- Проектування моделей даних та рішень на Microsoft Fabric (Lakehouse, Data Factory, Notebooks, Warehouse).

- Налаштування інтеграцій між внутрішніми системами, хмарами Azure, Kafka, API та базами даних (включаючи оптимізацію SQL).

- Забезпечення якості, моніторингу та надійності корпоративних платформ даних.

- Робота за методологією Agile в Azure DevOps (CI/CD, рев'ю коду), усунення інцидентів та ведення документації.

Вимоги:

• 3+ роки досвіду на позиції Data Engineer.
• Python та просунутий SQL (оптимізація запитів).
• Досвід роботи з Apache Spark та Microsoft Fabric (Delta Lake, Lakehouse, DWH).
• Досвід із хмарою Azure (Data Factory, Functions, Storage, Event Hubs, Service Bus) та побудови ETL/ELT.
• Досвід інтеграції даних через Kafka (streaming), REST API та бази даних.
• Робота з Azure DevOps (ADO), Git та процесами CI/CD (тестування, якість коду, IaC).
• Розуміння data governance.
• Сертифікації Microsoft Azure/Fabric будуть перевагою.