Middle Snowflake Developer (AWS Cloud, Glue, lambda, Python)

Data Warehousing, SQL (Snowflake)

• Досвід роботи зі Snowflake: проектування та оптимізація таблиць, створення уявлень (Views, Materialized Views), робота з налаштуваннями продуктів (Virtual Warehouses), керування правами доступу (RBAC).

• Глибоке знання SQL: написання складних, високопродуктивних запитів, віконні функції (Window Functions), CTE, оптимізація виконання запитів (Query Optimization & Execution Plans).

   

 Хмарна інфраструктура (AWS Cloud)

• AWS S3: організація Data Lake, налаштування бакетів, партиціонування даних, Lifecycle Rules та політики безпеки.
• AWS Glue: створення та підтримка ETL/ELT-пайплайнів, робота з Glue Catalog, Crawlers та PySpark/Glue jobs.
• AWS Lambda: розробка безсерверних (serverless) мікросервісів та обробників подій на Python.

• AWS CloudWatch & IAM: налаштування моніторингу, логування, аляртів, створення та управління політиками доступу та ролями (Least Privilege Principle).

   

 Мова програмування (Python)

• Впевнене володіння Python 3.x для розробки скриптів автоматизації та інженерії даних.
• Досвід роботи з бібліотеками для обробки даних (наприклад, pandas, pyspark, boto3, requests, SQLAlchemy).

• Розуміння принципів ООП, чистого коду (Clean Code), написання unit-тестів та інтеграційних тестів.

   

 Інфраструктура як код (Terraform)

• Досвід підходу Infrastructure as Code (IaC).
• Написання, підтримка та модульна організація Terraform-скриптів для автоматизованого розгортання ресурсів в AWS.

• Розуміння роботи зі state-файлами (Remote State, State Locking).

   

 Оркестрація даних (Apache Airflow)

• Проектування, написання та підтримка складнопідрядних DAGs (Directed Acyclic Graphs).
• Досвід створення кастомних операторів/хуків (за потреби).

• Розуміння принципів розкладу (scheduling), керування залежностями та обробки помилок/повторних спроб (retries).

   

 Інтеграції (Rest API)

• Проектування та розробка RESTful API для інтеграції між сервісами.

• Досвід взаємодії з зовнішніми API для збору/експорту даних (авторизація OAuth/API Keys, пагінація, rate-limiting).

   

 CI/CD, (CircleCI)

• Налаштування та підтримка автоматизованих пайплайнів збірки, тестування та деплою (CI/CD workflows) у CircleCI.
• Контроль версій з Git (Git Flow / Feature Branch Workflow).
• Upper-Intermediate (B2) для усного та писемного спілкування в команді.

Nice to Have

• Розуміння концепцій Data Modeling (Kimball, Data Vault) та Data Quality (Great Expectations, dbt).
• Базовий досвід роботи з Docker для контейнеризації додатків.

• Знання англійської мови на рівні 

   

Key Responsibilities

• Проектування, розробка та підтримка стійких ETL/ELT процесів для обробки даних з використанням Python, Airflow та AWS Glue.
• Автоматизація створення хмарної інфраструктури через Terraform.
• Підтримка та оптимізація сховища даних на Snowflake для швидкого доступу та аналітики.
• Розробка REST API сервісів та бекенд-компонентів.
• Налаштування автоматичного тестування та деплою кодів через CircleCI.