Middle/Senior Data Engineer / SQL Developer

Middle/Senior Data Engineer / SQL Developer

Задачі, над якими потрібно буде працювати

• SQL-розробка та робота з базами даних: розробка складних SQL-запитів, процедур, представлень та інших об’єктів бази даних для аналітичних систем.
• аналіз і оптимізація продуктивності запитів, робота з індексами, планами виконання, партиціонуванням і великими обсягами даних.
• побудова Data Pipelines: проєктування, розробка та підтримка надійних ETL/ELT-процесів для завантаження, трансформації та передачі даних між різними системами.
• оркестрація пайплайнів за допомогою Apache Airflow та dbt.
• розробка на Python: створення Python-скриптів і сервісів для обробки, перевірки, трансформації та передачі даних. Інтеграція з базами даних, REST API та зовнішніми джерелами.
• моделювання даних: проєктування схем і моделей даних для аналітичних систем, Data Warehouse та Data Lake. Побудова і підтримка шарів staging, intermediate та marts.
• оптимізація та підтримка: рефакторинг і підвищення продуктивності наявних SQL- та Python-розробок, усунення технічного боргу, аналіз проблем у процесах завантаження та обробки даних.
• якість і надійність даних: реалізація перевірок Data Quality, валідації даних, логування, моніторингу та обробки помилок у data pipelines.
• аналітична звітність: підготовка структурованих наборів даних і моделей для побудови аналітичних дашбордів та звітності.

Які навички стануть у нагоді

Загальний досвід:

• від 2 років досвіду у сфері Data Engineering
• SQL-розробки або Python-розробки для задач обробки даних.

Практичний досвід роботи з PostgreSQL.

• досвід оптимізації SQL-запитів, роботи з індексами та великими таблицями.
• досвід створення та підтримки views, functions, procedures та інших об’єктів бази даних.

Python для Data Engineering:

• впевнене володіння Python для задач обробки та передачі даних.
• робота з форматами JSON, CSV, Excel, Parquet та іншими форматами даних.
• написання підтримуваного, модульного та тестованого код
• розуміння ООП, exception handling, logging та configuration management.
• досвід роботи з pandas, SQL-конекторами, REST API та зовнішніми джерелами.

Apache Airflow:

• практичний досвід створення та підтримки DAG.
• оркестрація ETL/ELT-процесів.
• налаштування dependencies, scheduling, retries та timeout.
• робота з Airflow Connections, Variables та Secrets.
• моніторинг і troubleshooting помилок у pipeline.
• розуміння принципів idempotency та безпечного повторного запуску процесів.

dbt:

• практичний досвід створення та підтримки dbt models.
• Робота з sources, ref, tests, snapshots і seeds.
• Використання Jinja та macros.
• Розуміння incremental models.
• Побудова data lineage та технічної документації.
• Досвід організації staging, intermediate та marts layers.

API та інтеграції:

• досвід інтеграції з REST API та налаштування обміну даними між інформаційними системами.
• розуміння принципів авторизації, обробки відповідей API, pagination, retries та error handling.
• буде додатковою перевагою

Буде додатковою перевагою

• розуміння принципів Data Warehouse, Data Lake, ETL/ELT, OLTP та OLAP.
• знання dimensional modeling, Star Schema та Snowflake Schema.
• досвід роботи з NoSQL-базами даних.
• досвід роботи з Git, branching strategy та code review.
• розуміння або практичний досвід налаштування CI/CD.
• досвід контейнеризації за допомогою Docker.
• досвід роботи з хмарними платформами AWS, Microsoft Azure або Google Cloud Platform.
• розуміння принципів Data Quality, Data Validation, monitoring та logging.
• базове розуміння можливостей AI, ML та LLM для автоматизації процесів обробки й аналізу даних.