Data Platform Engineer (Senior / Lead)

Twist Robotics — українська технологічна компанія, яка розробляє безпілотні літальні апарати коптерного та літакового типів і пов’язані з ними системи. Серед публічних продуктів компанії — симулятор місій БпЛА «Обрій» та коптер Saker Scout.

Ми шукаємо Data Platform Engineer (Senior / Lead), який долучиться до створення масштабованої платформи для автоматизованої генерації, збору, очищення та трансформації даних, зокрема для подальшого навчання ML-моделей. Основне завдання ролі — інтегрувати окремі інструменти й компоненти в єдину надійну систему, забезпечити стабільну роботу процесів обробки даних та закласти основу для подальшого розвитку платформи.

Основні обов’язки:

• проєктування, розробка та інтеграція компонентів платформи даних у єдину масштабовану й відмовостійку систему;
• розробка та супровід пакетних і потокових (batch та streaming) пайплайнів для генерації, збору, очищення й трансформації даних;
• побудова та підтримка надійних workflow для оркестрації процесів обробки даних із використанням Temporal та інших відповідних інструментів;
• забезпечення якості, відтворюваності та доступності датасетів для бізнес-потреб і ML-команд;
• проєктування архітектури зберігання й обробки даних, забезпечення надійності та безпеки інфраструктури;
• участь у виборі технологій, формуванні архітектурних рішень та обґрунтуванні технічних компромісів;
• використання AI-агентів та LLM-інструментів для прискорення розробки, тестування й автоматизації інженерних завдань;
• підтримка якості продакшн-коду та технічної документації платформи.

Що для нас важливо:

• комерційний досвід розробки програмного забезпечення та створення надійних production-рішень;
• впевнене володіння SQL та практичний досвід моделювання, отримання, трансформації й перевірки даних;
• досвід проєктування та підтримки batch- і streaming-процесів, розуміння принципів роботи Kafka, Spark, Flink або аналогічних інструментів;
• досвід побудови пайплайнів для генерації, збору, очищення та трансформації даних, зокрема для ML-задач;
• розуміння принципів роботи розподілених систем, їх масштабування та забезпечення відмовостійкості;
• досвід роботи з інструментами оркестрації data / ML-процесів: Airflow, Dagster, Prefect, Kubeflow Pipelines, Metaflow, Flyte або аналогами;
• практичне розуміння підходів до побудови надійних workflow та досвід роботи з Temporal або готовність швидко його опанувати;
• впевнене володіння Docker і Kubernetes;
• розуміння принципів DevOps, CI/CD та Infrastructure as Code / GitOps;
• досвід налаштування моніторингу, логування та observability для забезпечення стабільної роботи систем;
• практичний досвід використання AI-агентів та LLM-інструментів у розробці;
• здатність самостійно ухвалювати технічні рішення, аргументувати архітектурні підходи та пояснювати їх команді.

Буде плюсом:

• практичний досвід проєктування та масштабування Temporal-workflow у production-середовищі;
• досвід генерації синтетичних даних або побудови складних пайплайнів для ML/LLM;
• досвід роботи з Lakehouse-форматами: Apache Iceberg, Delta Lake, Hudi;
• досвід роботи з хмарними платформами AWS, GCP або Azure;
• досвід роботи з Terraform та іншими інструментами Infrastructure as Code.

Ми пропонуємо:

• роботу в українській технологічній компанії, що створює AI та Robotics рішення;
• можливість долучитися до побудови масштабованої Data Platform та впливати на її архітектуру й технологічний розвиток;
• складні інженерні завдання та простір для реалізації власних технічних рішень;
• конкурентну компенсацію відповідно до досвіду та експертизи;
• відпустки, лікарняні та інші соціальні гарантії згідно з нормами чинного трудового законодавства;
• бронювання.