Data Engineer / Data Platform Engineer

Ми команда, що працює над антикорупційною аналітикою та цифровізацією державних сервісів в Україні, приватними розробками й не тільки — шукаємо досвідченого Data Engineer, який стане ключовою технічною фігурою в розробці платформи обробки даних.

Будуємо масштабовану data-платформу з open-source компонентів, яка дозволяє створювати пайплайни будь-якої складності, працювати з великими обсягами даних, візуалізувати їх та інтегрувати з іншими системами.

Про роль

Це інженерна роль з підвищеним рівнем відповідальності.

Ви не просто реалізуєте задачі, а впливаєте на архітектуру, підходи та технічні рішення, допомагаєте команді рухатися швидше і якісніше.

Формального менеджменту мінімум, але:

• участь у технічних рішеннях,
• координація розробки,

• рев’ю архітектури та коду

  — очікуються.

   

Основні обов’язки

• Проєктування та розвиток масштабованої та безпечної data-платформи.
• Реалізація та оптимізація data-пайплайнів (ETL/ELT).
• Участь у створенні ключових компонентів платформи разом із командою.
• Формування та підтримка найкращих практик розробки (code quality, CI/CD, observability).
• Робота з backend API (FastAPI) та, за потреби, участь у розвитку фронтенду.
• Забезпечення базових практик кібербезпеки та контролю доступів.
• Оцінка технічних рішень з точки зору складності, строків і ризиків.

• Технічна підтримка та менторинг інших розробників.

   

Технологічний стек (обов’язкове)

• Python — впевнений рівень, досвід від 3 років.
• SQL (PostgreSQL) — складні запити, оптимізація.
• Redis.
• Elasticsearch та ELK stack.
• REST API.
• Git, Bash, CI/CD.
• Docker, Kubernetes, Nginx.

• Базове розуміння ML / data-пайплайнів.

   

Data Engineering & Warehousing

• Побудова DWH:
  • star schema, fact & dimension tables
  • slowly changing dimensions (SCD)
• Advanced SQL: CTE, window functions, procedures.
• Робота з Presto / Trino.
• Розуміння індексів, у т.ч. геоіндексів (H3).

• Робота з просторовими даними (GeoJSON, Point, Polygon).

   

Платформа, над якою ми працюємо

Основний сценарій:

1. Забір даних (Dagster).
2. Збереження сирих даних у S3 compatible (bronze layer).
3. Парсинг у структуровані дані(silver layer).
4. Трансформації для аналітики (gold layer).

5. Візуалізація в BI-дашбордах.

    

Ключові компоненти:

• Dagster — оркестрація пайплайнів.
• S3-compatible storage.
• Apache Iceberg — табличний формат + time travel.
• Project Nessie — data catalog.
• Trino — SQL engine.
• Apache Superset — BI та дашборди.
• Keycloak / Authentik — авторизація.

• Kubernetes (k3s) + Terraform + Ansible.

   

Буде перевагою

• Досвід з Kafka, Spark / PySpark.
• Iceberg / Delta tables у продакшені.
• Prometheus, Grafana, Jenkins.
• Досвід з КЕП, Trembita.
• Досвід у проєктах для державного сектору.

• Досвід неформального лідингу або менторингу команди (5+ осіб).

   

Soft skills, які для нас важливі

• Вміння працювати з нечіткими вимогами.
• Самостійність і відповідальність за результат.
• Здатність пояснювати складні технічні речі просто.
• Розуміння, коли варто ускладнювати, а коли — ні.

• Проактивність і здоровий інженерний скепсис.

   

Ми пропонуємо

• Роботу над суспільно значущими проєктами.
• Реальний вплив на архітектуру та технічні рішення.
• Гнучкий формат роботи.
• Можливість бронювання для ключових співробітників.
• Адекватну команду без «корпоративного театру».