Data Engineer

Контекст проєкту

Ми побудували систему acquisition для Instagram-воронки: масово підписуємося на цільову аудиторію в Instagram, щоб користувачі бачили сповіщення, заходили в профіль і переходили по воронці. Критична точка — таргети (Instagram IDs цільової аудиторії). 

Якщо таргети неякісні, падає конверсія, ефективність і ми не можемо стабільно масштабуватися.

Нам потрібна людина, яка візьме 100% відповідальність за весь процес таргетингу: від закупівлі баз, валідації якості, A/B-тестів фільтрів, зберігання й версіонування — до побудови in-house пайплайнів.

Кого ми шукаємо

• Сильний Data Engineer з growth-мисленням (або growth-інженер, який вміє в дані та автоматизацію).

Технічні навички

• Python (для скриптів, ETL, автоматизації парсингу/скрейпінгу, фільтрації).
• SQL (для запитів, аналізу, QA даних).
• Досвід з data workflows: обробка великих обсягів (мільйони рядків), дедуплікація, версіонування, "single source of truth".
• Знання інструментів для парсингу (Selenium, Scrapy, API Instagram/аналоги) — досвід з in-house скрейпінгом соцмереж буде плюсом.
• Обов’язковий сильний досвід аналізу даних: A/B-тестування, робота з метриками конверсії. Використання Pandas, Jupyter (або аналогів) для швидкого тестування гіпотез, порівняння фільтрів, сегментації та вибору найкращих наборів для фільтрації аккаунтів. (Без навичок глибокого аналізу даних ти просто не зможеш виконувати основну частину роботи).

Soft skills

• Самостійний, проактивний — приходиш, розбираєшся в поточному хаосі (дані в файлах, без трекінгу), будуєш рішення з нуля, деплоїш і підтримуєш.
• Growth-мислення: фокус на метриках бізнесу, а не тільки на коді.
• 3+ роки в data engineering, ідеально в маркетингу/growth (social media, lead generation).
• Готовність працювати інтенсивно та з високою віддачею: це не роль «для галочки» чи 9-to-5 з мінімальним навантаженням. Ми очікуємо високої самоорганізації, готовності вкладати багато часу та енергії в перші місяці, щоб система запрацювала стабільно й почала приносити результат. Якщо ти шукаєш спокійну підтримку вже готового продукту — це точно не та вакансія.

За що ти будеш відповідати (end-to-end)

1. Закупівля та валідація баз:
   • Розробити фільтри для баз для аутсорс-підрядників.
   • Налаштувати процес приймання: автоматизована QA (скрипти для перевірки на дублі, freshness, pass/fail).
   • Результат: Стабільний вхід 30-40 млн, вихід 5-10 млн/день.
2. Тести та оптимізація:
   • Проводити A/B-тести фільтрів/джерел (контрольні групи, метрики з логів/трекінг-лінків).
   • Формалізувати стандарти якості: документ з must-have/nice-to-have/red flags, порогами.
   • Результат: Постійна лабораторія — rollout кращих конфігів, rollback при деградації.
3. Аналітика та репортінг:
   • Будувати дашборди/репорти (наприклад, в Google Data Studio/BigQuery): якість партій, вплив фільтрів на конверсію, деградації.
   • Трекінг: Впровадити логування (ID бази → джерело → фільтр → результат).
   • Результат: Рішення на даних, не на інтуїції.
4. Інфраструктура та зберігання:
   • Спроєктувати сховище для мільйонів рядків: з дедупом, версіонуванням, сегментацією (зараз — файли, перейдемо на Postgres/BigQuery).
   • Швидкий доступ: скрипти для витягу під задачі.
   • Результат: Дані не губляться, історія джерел/результатів.
5. In-house парсинг та автоматизація:
   • Побудувати пайплайни для парсингу (з фоловерів/лайків тощо) — на базі готового варіанту, але масштабовано.
   • Фільтрація: скрипти для детекції ботів/мови/гомогліфів.
   • Результат: Перехід від аутсорсу до власного, стабільність.

Якщо ти дочитав до кінця цей довгий текст, не закрив вкладку і не пішов далі скролити — значить, щось зачепило. Якщо вже уявив, як розгрібаєш цей хаос з файлами, запускаєш перші A/B-тести, бачиш, як конверсія стрибає на 15–30% після твого фільтру, і розумієш, що саме ти можеш зробити так, щоб ми щодня отримували мільйони якісних таргетів — пиши, дуже цікаво з тобою познайомитись))