Senior Data Platform Engineer

Twist Robotics Responds Quickly
$$$$
🪖 DefTech Product

Twist Robotics — українська технологічна компанія, яка розробляє безпілотні літальні апарати коптерного та літакового типів і пов’язані з ними системи. Серед публічних продуктів компанії — симулятор місій БпЛА «Обрій» та коптер Saker Scout.

 

Ми шукаємо Senior Data Platform Engineer, який долучиться до створення масштабованої платформи для автоматизованої генерації, збору, очищення та трансформації даних, зокрема для подальшого навчання ML-моделей. Основне завдання ролі — інтегрувати окремі інструменти й компоненти в єдину надійну систему, забезпечити стабільну роботу процесів обробки даних та закласти основу для подальшого розвитку платформи.

 

Основні обов’язки:

  • проєктування, розробка та інтеграція компонентів платформи даних у єдину масштабовану й відмовостійку систему;
  • розробка та супровід пакетних і потокових (batch та streaming) пайплайнів для генерації, збору, очищення й трансформації даних;
  • побудова та підтримка надійних workflow для оркестрації процесів обробки даних із використанням Temporal та інших відповідних інструментів;
  • забезпечення якості, відтворюваності та доступності датасетів для бізнес-потреб і ML-команд;
  • проєктування архітектури зберігання й обробки даних, забезпечення надійності та безпеки інфраструктури;
  • участь у виборі технологій, формуванні архітектурних рішень та обґрунтуванні технічних компромісів;
  • використання AI-агентів та LLM-інструментів для прискорення розробки, тестування й автоматизації інженерних завдань;
  • підтримка якості продакшн-коду та технічної документації платформи.

 

Що для нас важливо:

  • комерційний досвід розробки програмного забезпечення та створення надійних production-рішень;
  • впевнене володіння SQL та практичний досвід моделювання, отримання, трансформації й перевірки даних;
  • досвід проєктування та підтримки batch- і streaming-процесів, розуміння принципів роботи Kafka, Spark, Flink або аналогічних інструментів;
  • досвід побудови пайплайнів для генерації, збору, очищення та трансформації даних, зокрема для ML-задач;
  • розуміння принципів роботи розподілених систем, їх масштабування та забезпечення відмовостійкості;
  • досвід роботи з інструментами оркестрації data / ML-процесів: Airflow, Dagster, Prefect, Kubeflow Pipelines, Metaflow, Flyte або аналогами;
  • практичне розуміння підходів до побудови надійних workflow та досвід роботи з Temporal або готовність швидко його опанувати;
  • впевнене володіння Docker і Kubernetes;
  • розуміння принципів DevOps, CI/CD та Infrastructure as Code / GitOps;
  • досвід налаштування моніторингу, логування та observability для забезпечення стабільної роботи систем;
  • практичний досвід використання AI-агентів та LLM-інструментів у розробці;
  • здатність самостійно ухвалювати технічні рішення, аргументувати архітектурні підходи та пояснювати їх команді.

 

Буде плюсом:

  • практичний досвід проєктування та масштабування Temporal-workflow у production-середовищі;
  • досвід генерації синтетичних даних або побудови складних пайплайнів для ML/LLM;
  • досвід роботи з Lakehouse-форматами: Apache Iceberg, Delta Lake, Hudi;
  • досвід роботи з хмарними платформами AWS, GCP або Azure;
  • досвід роботи з Terraform та іншими інструментами Infrastructure as Code.

 

Ми пропонуємо:

  • роботу в українській технологічній компанії, що створює AI та Robotics рішення;
  • можливість долучитися до побудови масштабованої Data Platform та впливати на її архітектуру й технологічний розвиток;
  • складні інженерні завдання та простір для реалізації власних технічних рішень;
  • конкурентну компенсацію відповідно до досвіду та експертизи;
  • відпустки, лікарняні та інші соціальні гарантії згідно з нормами чинного трудового законодавства;
  • бронювання.

Required skills

Data Engineering, SQL, Python, Apache Spark, Temporal

Required languages

English B1 - Intermediate
Ukrainian Native
Published 14 November
105 views · 18 applications
See stats of candidates who applied for this job 👀
To apply for this and other jobs on Djinni login or signup.
Loading...