Data Engineer — рушійна сила даних Offline

Ми шукаємо кваліфікованого Data Engineer, який стане частиною команди Дії та працюватиме над створенням, оптимізацією та підтримкою ETL-пайплайнів і сховищ даних для масштабних проєктів.

Ви забезпечуватимете безперебійний потік даних для моделей AI/ML та корпоративних систем, створюючи надійні інфраструктури даних для майбутнього цифрової держави.

Ця роль ідеально підходить для професіонала, який володіє глибокими технічними знаннями, аналітичним мисленням і прагненням створювати продукти, що змінюють життя мільйонів українців.

Обов’язки:
- проєктування та розробка ETL-пайплайнів для обробки даних із різних джерел і завантаження їх у централізовані сховища;
- реалізація надійних процесів для обробки структурованих, напівструктурованих та неструктурованих даних;
- забезпечення якості даних через автоматизовані рішення для очищення, валідації та трансформації;
- створення й оптимізація сховищ даних на платформах, як-от Snowflake, Redshift, BigQuery або Azure Synapse;
- підтримка моделей даних для бізнес-аналітики та машинного навчання;
- взаємодія з датасаєнтистами та ML-інженерами для забезпечення чистих і версіонованих наборів даних;
- інтеграція даних у хмарні середовища (AWS, Azure, GCP) та робота з DevOps для CI/CD пайплайнів;
- моніторинг ETL-процесів, усунення помилок і впровадження довгострокових рішень для покращення продуктивності;
- розробка панелей моніторингу для відстеження процесів за допомогою інструментів, як-от Grafana, CloudWatch або Datadog;
- адаптація до швидкозмінних пріоритетів і вимог, що характерно для середовища стартапу;
- співпраця з міжфункціональними командами для забезпечення якісної реалізації даних у продуктах.

Вимоги:
- впевнене знання Python та/або Scala для обробки даних;
- досвід роботи з ETL-інструментами (Apache NiFi, Airflow, dbt, Talend);
- експертні навички SQL для роботи з великими наборами даних й оптимізації запитів;
- знання платформ сховищ даних, як-от Snowflake, Redshift, BigQuery або Azure Synapse;
- досвід роботи з хмарними сервісами для даних (AWS Glue, Azure Data Factory, GCP Dataflow);
- навички роботи з фреймворками трансформації даних (Pandas, PySpark);
- здатність працювати в умовах динамічного середовища із частими змінами пріоритетів;
- високі комунікаційні навички для співпраці з технічними та нетехнічними командами;
- вища освіта.

Буде плюсом:
- 3+ роки досвіду на позиції Data Engineer, зокрема у створенні та підтримці ETL-пайплайнів;
- досвід роботи з розподіленими системами (Apache Spark, Kafka, Flink);
- практичний досвід моніторингу та оптимізації ETL-процесів;
- знання AI/ML-проєктів, інтеграція даних у Feature Stores та реєстри моделей.

Приєднуйтеся до команди та допоможіть створювати сучасну інфраструктуру даних для цифрової України. Ваші розробки забезпечать ефективність державних сервісів і покращать життя мільйонів громадян

Надсилайте резюме й станьте частиною інноваційної команди вже сьогодні!