Senior Data Engineer

Are you passionate about building cutting-edge, AI-ready data platforms from the ground up? We are looking for a Senior Data Engineer to join our Data Engineering Team and lead high-impact, greenfield initiatives.

You will work on building modern cloud-native data platforms, migrating on-premises legacy systems to the cloud, and laying the architectural foundation for AI-ready data infrastructure.

In this role, you will collaborate closely with Machine Learning, Data Science, and Product teams, serving as a key technical contributor and thought leader. You will also drive R&D efforts around agentic AI architectures, event-driven systems, and LLM-ready data pipelines — turning architectural concepts into production-grade solutions.

Responsibilities:

• Design and build scalable, cloud-native data platforms from greenfield to production
• Implement near-real-time ingestion pipelines using event-driven patterns
• Define and enforce platform standards, including Data Lake / Lakehouse principles, medallion architecture, and data contracts
• Refactor and optimise existing Spark and PySpark scripts for performance and maintainability
• Introduce best practices for code quality, testing, and CI/CD across data pipelines
• Drive adoption of AI tooling and agentic workflows within the data engineering team
• Ensure data quality, observability, and reliability across all pipelines and platforms

• Develop self-service tooling and microservices to simplify platform usage for other teams

   

Requirements:

• 5+ years of professional experience in Data Engineering
• Strong Python and SQL development skills for pipeline development and optimisation
• Proficiency in Apache Spark / PySpark, including query optimisation and performance tuning
• Hands-on experience with Databricks (preferred) or Snowflake
• Experience with at least one major cloud provider: Azure (preferred), AWS, or GCP
• Experience with stream processing technologies (Kafka, Spark Structured Streaming)
• Solid understanding of ETL/ELT patterns, data modelling (dimensional, Data Vault), and data warehousing
• Experience with orchestration tools (Apache Airflow, Azure Data Factory, or equivalent)
• Knowledge of Infrastructure as Code (Terraform or equivalent)
• Understanding of production-grade system requirements: reliability, scalability, observability, and performance

• Upper-Intermediate English level

   

Will be a plus

• Familiarity with RAG pipeline design and LLM integration patterns
• Knowledge of data governance frameworks and tools (Unity Catalog, Apache Atlas, or similar)
• Experience with dbt for data transformation and modelling

• Familiarity with MLflow, Feature Stores, or ML platform integration

   

Personal profile

• Self-driven and proactive in identifying improvements
• Comfortable working in a fast-paced, innovative environment
• Strong problem-solving mindset with attention to detail
• Open to experimenting with emerging technologies and approaches

_____________________________________________________________

Ти захоплюєшся створенням передових, AI-ready дата-платформ з нуля? Ми шукаємо Senior Data Engineer, щоб ти приєднався(-лася) до нашої команди Data Engineering та очолив(-ла) масштабні, інноваційні ініціативи з нуля.

Ти працюватимеш над побудовою сучасних хмарних дата-платформ, міграцією локальних (on-premises) легасі-систем у хмару та створенням архітектурного фундаменту для AI-ready дата-інфраструктури.

У цій ролі ти тісно співпрацюватимеш з командами Machine Learning, Data Science та Product, виступаючи ключовим технічним експертом та лідером думок. Також ти вестимеш R&D-роботи над agentic AI-архітектурами, подієво-орієнтованими системами та LLM-ready дата-пайплайнами — перетворюючи архітектурні концепції на готові до продакшену рішення.

Обовʼязки:

• Проєктувати та створювати масштабовані, хмарні дата-платформи від концепції до продакшену
• Реалізовувати пайплайни для майже реального часу (near-real-time ingestion) з використанням подієво-орієнтованих патернів
• Визначати та впроваджувати стандарти платформи, включно з принципами Data Lake / Lakehouse, медальйонною архітектурою та дата-контрактами
• Рефакторити та оптимізувати наявні скрипти на Spark та PySpark для підвищення продуктивності та зручності підтримки
• Запроваджувати найкращі практики якості коду, тестування та CI/CD для дата-пайплайнів
• Сприяти впровадженню AI-інструментів та agentic-підходів у команді дата-інженерів
• Забезпечувати якість, спостережуваність (observability) та надійність усіх пайплайнів і платформ

• Розробляти self-service інструменти та мікросервіси, що спрощують використання платформи іншими командами

   

Вимоги:

• 5+ років комерційного досвіду в Data Engineering
• Сильні навички розробки на Python та SQL для створення та оптимізації пайплайнів
• Впевнене володіння Apache Spark / PySpark, включно з оптимізацією запитів та налаштуванням продуктивності
• Практичний досвід роботи з Databricks (бажано) або Snowflake
• Досвід роботи з принаймні одним великим хмарним провайдером: Azure (бажано), AWS або GCP
• Досвід роботи з технологіями потокової обробки даних (Kafka, Spark Structured Streaming)
• Глибоке розуміння ETL/ELT-патернів, моделювання даних (dimensional, Data Vault) та побудови дата-складів
• Досвід роботи з інструментами оркестрації (Apache Airflow, Azure Data Factory або аналогами)
• Знання Infrastructure as Code (Terraform або аналогів)
• Розуміння вимог до продакшен-рішень: надійність, масштабованість, спостережуваність, продуктивність

• Рівень англійської — Upper-Intermediate

   

Буде плюсом:

• Знайомство з проєктуванням RAG-пайплайнів та патернами інтеграції LLM
• Знання фреймворків і інструментів для data governance (Unity Catalog, Apache Atlas або подібних)
• Досвід роботи з dbt для трансформації та моделювання даних

• Знайомство з MLflow, Feature Stores або інтеграцією з ML-платформами

   

Особистий профіль:

• Самомотивованість та проактивність у пошуку покращень
• Комфортна робота у швидкому та інноваційному середовищі
• Сильне аналітичне мислення та увага до деталей
• Відкритість до експериментів з новими технологіями та підходами