Principal Data Acquisition Engineer

Remote · Full-time · Перетин із робочими годинами ЄС · Principal level

Про проєкт

Проєкт поєднує OSINT і сучасну аналітику даних. Платформа допомагає державним організаціям отримувати критично важливу інформацію про технологічне та економічне середовище росії й Китаю, зокрема їхні оборонно-промислові комплекси.

Про роль

Ви станете технічним лідером Data Acquisition Team — команди, яка збирає відкриті дані з різних джерел у всьому світі.

Сьогодні ми підтримуємо десятки парсерів для складних джерел, які постійно змінюються, обмежують частоту запитів та блокують автоматизований збір. Наша мета — масштабувати систему до сотень джерел, не збільшуючи команду пропорційно, налаштовуючи процеси з використанням ШІ.

Це Principal-роль із високим рівнем відповідальності. Ви прийматимете найскладніші технічні рішення, створюватимете інструменти для всієї команди та визначатимете подальший розвиток data acquisition architecture. Водночас наявна система має залишатися стабільною, а дані — надходити безперервно.

Ваші завдання

• Створювати AI-assisted та agentic-інструменти, які перетворюють нове джерело на готові до роботи парсери.
• Масштабувати систему від десятків до сотень донорів даних.
• Розробляти self-healing механізми, які виявляють зміни джерел і збої, адаптуються та відновлюють роботу без ручного втручання в кожному випадку.
• Відповідати за всю acquisition architecture: спільні scraper/parser frameworks, proxy та stealth strategy, scheduling і передачу даних до ADLS.
• Забезпечувати стійкість до anti-bot механізмів, підтримувати міграції джерел і надійність системи в production.
• Підтримувати стабільність наявного парку парсерів і донорів під час поступової перебудови.

• Менторити інженерів, визначати технічні стандарти та розвивати AI-first підхід у команді.

   

Наш стек

Python · JavaScript · Playwright · Stealth browser tooling · VPN-based egress · Azure Data Lake Storage · Docker · Kubernetes · Azure AKS · GitLab CI · Grafana · Claude Code · Codex

Що для нас важливо

• Досвід на рівні Principal або Staff у production data collection чи web scraping у великому масштабі.
• Досвід визначення технічного напряму, а не лише реалізації готових рішень.
• Також розглянемо сильного Senior Engineer, готового перейти на наступний рівень.
• Досвід створення платформ і фреймворків, якими користуються інші інженери.
• Глибоке знання Python.
• Знання JavaScript, достатнє для reverse engineering вебсайтів: розуміння завантаження даних сторінкою, поведінки браузера та network layer.
• Практичний досвід із JavaScript-heavy сайтами, headless browsers, proxies, rate limiting та anti-bot системами.
• Практичне застосування LLM або agentic systems для генерації коду, автоматичного виправлення помилок чи автономних workflows.
• Досвід із Docker, Kubernetes і cloud environments; Azure буде перевагою.
• Розуміння cloud object storage і streaming systems як кінцевих точок для даних.
• Регулярне використання Claude Code, Codex або інших agentic coding tools зі здатністю перевіряти їхній результат і відповідати за те, що потрапляє у production.
• Системний підхід до тестування, якості та подальшої підтримки коду.
• Високий рівень самостійності, технічне лідерство та здатність посилювати команду.
• Впевнена, письмова і розмовна англійська — це основна мова комунікації.

Буде перевагою

• Production-досвід з agentic або LLM-driven pipelines для генерації коду та збору даних.
• Глибоке розуміння anti-bot механізмів, stealth crawling або роботи з CAPTCHA.
• Досвід підтримки великих multi-source scraper fleets, source lifecycle tooling або crawl scheduling.
• Робота з китайсько- чи російськомовними джерелами або вилученням даних із нелатинських писемностей.
• Досвід із data quality або entity extraction.
• Досвід у regulated, defense, intelligence або інших high-trust сферах.

AI як частина нашого engineering-процесу

Ми активно використовуємо AI-інструменти, щоб працювати швидше та підвищувати якість. Claude Code і Codex є частинами щоденного інженерного процесу: ми надаємо ці інструменти команді й очікуємо, що інженери вмітимуть ефективно їх застосовувати, перевіряти результати та відповідати за фінальне рішення.

Чому варто приєднатися

• Робота над технологічно складними проєктами у сфері геополітичної аналітики.
• Можливість побудувати масштабовану AI-driven систему збору даних.
• Високий рівень впливу на архітектуру та технічний напрям продукту.
• Сучасне AI-first engineering-середовище.
• Невелика міжнародна команда досвідчених фахівців.
• Повністю віддалена робота з регулярною взаємодією в межах європейського часового поясу.

Процес найму

4 раунди інтерв'ю англійською мовою.