Middle Data Engineer

Шукаємо в команду Middle-спеціаліста для розвитку та підтримки пайплайну збору даних та їх обробки. Роль передбачає роботу з існуючим рішенням (рефакторинг, стабілізація), розвиток архітектури БД під поточні потреби та операційне керування оператором бази даних.

Обов’язки

• Побудова та розвиток архітектури бази даних під поточні потреби проєкту; рефакторинг існуючого рішення.
• Розробка та підтримка рішень для збору даних.
• Обробка, очищення, нормалізація даних та підготовка до подальшого використання.
• Завантаження (імпорт) даних у бази даних та внутрішні системи.
• Контроль якості.
• Виконання невеликих задач з SQL (запити, оновлення, перевірки даних).

• Керування data-оператором: постановка задач, контроль виконання, перевірка результатів.

  
  Вимоги 

• Комерційний досвід роботи з Python.
• Впевнене використання Pandas для обробки та аналізу даних.
• Розуміння підходів до data extraction (HTML-структури, пагінація, сесії/кукі, rate limits).
• Розуміння підходів до динамічного збору даних (робота з JS-сторінками, очікування/таймаути, стабільність сценаріїв).
• Розуміння підходів до порівняння/матчингу даних для виявлення дублів (similarity, нормалізація рядків, пороги, правила матчинг-логіки).
• Базові–середні знання SQL (SELECT/UPDATE, робота з таблицями).
• Розуміння принципів роботи з базами даних.
• Уважність до деталей, вміння працювати з великими обсягами даних.
• Вміння підтримувати існуючі скрипти та швидко розбиратися в нових задачах.
• Англійська B1+ 

• Українська В2+

  
  Буде плюсом

• Досвід HTML-парсингу з BeautifulSoup.
• Досвід автоматизації та динамічного парсингу з Selenium.
• Досвід використання fuzzywuzzy / rapidfuzz (або аналогів) для порівняння/матчингу та виявлення дублів у даних/БД.
• Базовий досвід або розуміння Computer Vision.
• Досвід автоматизації рутинних процесів (пайплайни, моніторинг, оркестрація).
• Робота з proxy та ротацією проксі.
• Досвід роботи з AWS.