Data Engineer

Про роль та команду

Ми шукаємо Senior Data Engineer у команду OTP Digital — інженерну команду, яка створила мобільний застосунок банку з нуля. Твоєю місією буде перетворення сирих продуктових даних (подій застосунку, транзакцій, станів клієнтів) на надійну основу для бізнес-рішень. Працюючи з продуктовими командами, Product Data Analysts і платформою даних на Azure, ти визначатимеш доставку даних для банку та будуватимеш наскрізний Data delivery lifecycle — від контрактів даних до перевірених датасетів.

Твоє поле дій:

• Проєктувати та впроваджувати наскрізний процес Data delivery lifecycle від запиту аналітика до готового датасету — з чіткими етапами, ролями та SLA.
• Домовлятися з продуктовими командами про контракти даних (схеми подій, семантику полів, версіонування) та стежити за їх дотриманням, виступаючи єдиною точкою входу для команд.
• Будувати та підтримувати три шари даних у Azure Data Lake Gen2 / Microsoft Fabric: Bronze (сирі дані з повною історією), Silver (очищені, дедупліковані й типізовані дані з уніфікованими ключами) та Gold (доменні вітрини для аналітиків і BI).
• Проєктувати моделі даних для Silver і Gold разом із Product Analysts, орієнтуючись на реальні бізнес-питання.
• Розвивати пайплайни у Microsoft Fabric (Data Factory pipelines, Dataflows, notebooks / Spark) та оптимізувати їхню вартість і швидкість виконання.
• Запроваджувати автоматичні перевірки якості даних на кожному шарі (повнота, унікальність ключів, свіжість, узгодженість, дрейф схем), налаштовувати моніторинг та алерти.
• Вести каталог і lineage датасетів, збирати потреби аналітиків у беклог та робити дані самообслуговуваними через документацію, зрозумілі назви й приклади запитів.

Навички, які тобі знадобляться:

• Досвід від 5 років на позиції Data Engineer у продакшн-середовищі.
• Практичний досвід роботи з Azure Data Lake Storage Gen2 або Microsoft Fabric (Lakehouse, OneLake, Data Factory pipelines, notebooks).
• Впевнене володіння SQL та Python для написання трансформацій кодом.
• Досвід побудови шарової архітектури даних (medallion / lakehouse) та глибоке розуміння призначення кожного з шарів.
• Експертиза в data modeling: dimensional modeling (Star, Snowflake), робота зі SCD та проєктування вітрин під аналітичні запити.
• Практика впровадження data quality: написання тестів на дані, моніторинг свіжості й повноти, менеджмент інцидентів із даними.
• Розуміння форматів і підходів: Parquet / Delta, партиціонування, інкрементальне завантаження, CDC.
• Розвинені комунікативні навички: вміння домовлятися з інженерними командами про контракти даних і пояснювати аналітикам структуру таблиць.
• Вільна українська мова для щоденної роботи та англійська на рівні Upper-Intermediate для спілкування з колегами з OTP Group.

Що додасть магії:

• Досвід роботи з Google BigQuery.
• Знання Apache Kafka або event streaming для приймання подій у Bronze-шар у near-real-time.
• Розуміння BI Studio чи Power BI у зв'язці з Microsoft Fabric та особливостей споживання аналітиками Gold-шару.
• Досвід у банківській сфері чи фінтеху: робота з транзакційними даними, дотримання вимог регулятора щодо зберігання, доступу та PII.
• Практика використання dbt або інших інструментів трансформацій із тестами та lineage, знання IaC (Terraform / Bicep) і CI/CD для пайплайнів даних.
• Досвід співпраці в середовищі LeSS / Scrum із кількома продуктовими командами.

Як ми піклуємось:

• Віддалений формат роботи з можливістю працювати з офісу в Києві.
• Гнучкий графік роботи.
• Близьку співпрацю зі стейкхолдерами, продуктовими та development-командами.
• Низький рівень бюрократії та Agile-підхід до роботи.
• Підтримку head-office та technology team.
• Конкурентну компенсацію з прив’язкою до USD за курсом НБУ.
• Довгострокову співпрацю, оплачувану відпустку та лікарняні.