Trainee Data Engineer
У Холдингу емоцій "!FEST" ми дотримуємось принципу робити себе, місто, країну та світ кращими, тож даємо нашим працівникам змогу максимально реалізувати себе як в навиках, так і в можливостях навчатись, вдосконалюватись та досягати результатів.
Ти матимеш шанс долучитися до розробки нової дата платформи для всього Холдингу емоцій !FEST. Ми шукаємо людину, яка хоче зайти в data engineering: перші три місяці будуть більше про "брудну" роботу: ти чиститимеш, доповнюватимеш і наповнюватимеш дані та будуватимеш перевірки.
Де ти будеш
Твоя роль буде на перетині аналітичної та операційної команд: задачі приходитимуть і від тих, і від інших, тож ти бачитимеш шлях даних від джерела до звіту. Стек повністю на GCP (BigQuery, Cloud Storage, Pub/Sub, Cloud Run, Cloud Functions, Cloud Composer), плюс Apache Airflow.
Що робитимеш перші три місяці
- Шукатимеш і виправлятимеш дублікати, пропуски й розбіжності в таблицях BigQuery та Cloud SQL (PostgreSQL).
- Доповнюватимеш довідники та атрибути, яких бракує або які заповнені з помилками.
- Писатимеш SQL-перевірки на цілісність: чи зійшлася кількість рядків після завантаження, чи немає порожніх ключових полів, чи на місці всі звʼязки між таблицями. Ці перевірки ти загортатимеш у DAG-и в Airflow, щоб вони запускалися самі.
- Звірятимеш дані після міграції в BigQuery: чи збігаються суми й кількості зі старою системою.
Куди далі
Якщо перші три місяці пройдуть добре, ти поступово перейдеш до задач data engineer: будуватимеш ETL/ELT-пайплайни, проєктуватимеш оптимізовані схеми в BigQuery з партиціюванням і кластеризацією, налаштовуватимеш моніторинг і шукатимеш, де можна зменшити витрати на запити.
Що ми очікуємо
- SQL на рівні, коли ти впевнено пишеш JOIN, GROUP BY і віконні функції та можеш розібратися, чому запит повертає не те, що ти очікував.
- Python на базовому рівні: пишеш скрипти, працюєш з pandas, читаєш чужий код.
- Розуміння основ: що таке первинний ключ і типи даних, чим таблиця фактів відрізняється від довідника.
- Базовий Git: commit, branch, pull request.
- Уважність і терпіння до рутини. Це дуже важливо.
- Швидкість: нам важливо швидко ловити й опрацьовувати помилки
- Відповідальність: якщо ти знайшов проблему, то доводиш її до кінця або чітко передаєш тому, хто може її вирішити.
Буде плюсом
- Будь-який досвід з GCP або іншою хмарою.
- Знайомство з Airflow чи іншим оркестратором.
- Пет-проєкт з даними, який можна показати: пайплайн, парсер, зібраний датасет.
Що отримаєш
- Роботу з реальними продакшн-даними, а не з навчальними датасетами;
- Досвідчених інженерів поруч, до яких можна прийти з питанням;
- Зрозумілий шлях від трейні до data engineer на GCP-стеку;
- Знижки в мережі для кожного працівника;
- Комфортний офіс, забезпечений укриттям та всім необхідним для автономної роботи під час відключень електрики та блекаутів.