Middle Data Engineer (Prom.ua)

Prom.ua – найбільший маркетплейс України, де продаються понад 200 млн товарів від десятків тисяч підприємців з усієї країни.

На Prom.ua:

• кожен покупець може знайти все, що потрібно, за найкращою ціною: від зубної щітки до культиватора для саду та городу.

• кожен підприємець може продавати товари в каталозі маркетплейса, на сайті, створеному на платформі Prom та у мобільному додатку “Prom покупки”.

   

Prom.ua в цифрах:

• щодня маркетплейс відвідують 4,8 млн осіб
• на маркетплейсі працюють понад 60 тис. компаній
• у каталозі 200 млн товарів

Про команду:

Data Analytics, Data Engineers, Product Analytics

Ми використовуємо в роботі:

• Data Lakehouse 200+ TB даних, дані зберігаємо в HDFS, S3, для табличних даних використовуємо формат Apache Iceberg.
• Безпосередньо з самим сховищем взаємодіє 30 – 40 людей, споживають його дані сотні (якщо враховувати тільки внутрішніх споживачів).
• Для обробки даних використовуємо Spark, Trino, оркестрація відбувається в Airflow.
• Інструменти/Сервіси переважно деплоїмо в Kubernetes, іноді в OpenStack.
• У якості репозиторію коду та для CI/CD використовуємо GitLab.

• Під каталог, документацію та для моніторингу даних використовуємо Open Metadata, для документації по інструментах/сервісах використовуємо Material for MkDocs.

   

Для даної ролі важливо:

• Мати високий рівень володіння мовами SQL та Python.
• Мати глибокий досвід роботи з code-based інструментами оркестрації, бажано Airflow, Prefect, Dagster. Наприклад, у випадку з Airflow розуміти, що таке XCom, Pool, Hook, Sensor, Operator, TaskGroup тощо.
• Мати досвід написання складних, ідемпотентних пайплайнів з обробки великих обсягів даних.
• Мати глибокий досвід використання хоча б двох з перелічених інструментів для обробки даних: (Spark/Databricks/Snowpark), (Trino/Presto/Athena), (Kafka/Kinesis/Flink), (Snowflake/BigQuery/Redshift).
• Розуміти відмінність між Data Warehouse, Data Lake, Data Lakehouse.
• Розуміти принцип роботи табличних форматів, в ідеалі мати досвід роботи з Iceberg або Delta Lake, Hudi.
• Знати принципи організації та моделювання даних: Medallion, Kimball, Inmon.
• Мати досвід роботи з Docker, Kubernetes, Gitlab CI/CD.
• Системно мислити, широко та з урахуванням майбутніх перспектив, думати про мету, а не задачу.
• Орієнтуватись на якісний та довгостроковий результат роботи, в більшості випадків якість важливіша за швидкість.
• Бути відкритим до змін, продукт дуже активно змінюється.
• Розуміти, що комунікація з технічними та не технічними спеціалістами це частина компетенцій.

Можливі задачі:

• Підтримка та розвиток сховища (Data Lakehouse) проєктів Prom+, що включає в себе:
  • Проєктування та наповнення сховища даними, необхідними для команд проєктів.
  • Написання пайплайнів для обробки/оновлення даних в сховищі.
  • Рефакторинг, модифікація наявних пайплайнів.
  • Написання тестів та моніторинг якості даних.
  • Обслуговування документації по сховищу.
• Підтримка частини інфраструктури для роботи з даними, Airflow, Trino, Open Metadata (конфігурування, оновлення та деплой).
• Допомога та консультування команд Data Analytics, Data Science з приводу отримання та обробки даних.
• Code Review пайплайнів команд Data Analytics, Data Engineers.

Етапи підбору: 

• Знайомство 
• Технічна співбесіда 
• Фінальна зустріч (опційно) 

Про роботу в EVO:

• Соціальний пакет — офіційне працевлаштування, 24 дні оплачуваної відпустки на рік і необмежена кількість лікарняних, щоб ви могли відпочивати та дбати про своє здоров’я.
• Турбота про здоров’я — ми покриваємо медичне страхування та пропонуємо підтримку корпоративного психолога, адже переконані, що піклування про ментальне здоров’я є так само важливим, як і про фізичне.
• Гнучкий формат роботи — віддалено або в офісі. Ви можете працювати дистанційно або відвідувати наш затишний офіс в Києві, який повністю енергонезалежний та оснащений усім необхідним.
• Волонтерська спільнота – ми регулярно проводимо благодійні аукціони, збираємо гроші на дрони-розвідники та підтримуємо волонтерські ініціативи співробітників.
• Ми надаємо рівні можливості для всіх – тому не допускаємо дискримінації за будь-якими ознаками. Також ми відкриті до співпраці з ветеранами/ветеранками та готові підтримати їх на шляху до нових професійних досягнень.
• Можливість навчання та професійного зростання. Чесність та відкритість у всіх комунікаціях. Конструктивний зворотний зв’язок за результатами роботи. Підтримка лідера і команди.