Jobs Data Engineer

Data Engineer (Kafka, AWS, Fintech)

Про команду

Ми розвиваємо напрямок anti-fraud та працюємо з транзакційними даними в режимі реального часу. Наша мета - створювати рішення для виявлення аномалій і запобігання шахрайським діям.

Основні обов’язки

• Розробка та підтримка ETL/ELT процесів (data pipelines)
• Обробка стрімінгових даних (Kafka / MQ)
• Інтеграція даних з різних джерел (API, бази даних, сервіси)
• Оптимізація SQL-запитів та продуктивності сховищ даних
• Забезпечення якості та консистентності даних
• Взаємодія з командами аналітики, ризиків та розробки

Вимоги

• 3-4+ роки досвіду на позиції Data Engineer / ETL / DWH
• Впевнені знання SQL
• Досвід розробки на Python
• Практичний досвід роботи зі стрімінгом (Kafka або аналогами)
• Досвід роботи з AWS або GCP
• Досвід роботи з транзакційними даними (fintech / payments / banking / risk) - обов’язково
• Розуміння роботи з high-load системами
• Англійська - від B2

Буде перевагою

• Досвід роботи з real-time обробкою даних
• Знання Airflow або інших оркестраторів
• Досвід роботи з великими обсягами даних

Ми пропонуємо

Ми розуміємо, що робота - це не лише задачі, а й комфорт та підтримка:

• Віддалений або гібридний формат роботи (офіс- Київ)
• Гнучкий графік: 8:00-17:00 / 9:00-18:00 / 10:00-19:00
• 20 днів оплачуваної відпустки+додатковий вихідний на День народження
• Збереження вихідних на Різдво,1.01 та другий день Великодня
• Компенсація навчання та занять з англійської
• Подарунки до свят,welcome box,підтримка під час лікарняного
• Комфортний офіс та забезпечення всією необхідною технікою

Додатково

Ми впроваджуємо технологічні рішення, які безпосередньо впливають на фінансову безпеку, та будуємо культуру підтримки, розвитку і взаємоповаги в команді.

Drawer.AI — стартап зі США, який трансформує процес кошторису в будівництві за допомогою штучного інтелекту. Drawer AI — це система, що автоматично аналізує PDF-креслення, визначає маршрути прокладки електромереж, групує споживачів, розраховує навантаження та формує специфікації.
Ми шукаємо людину, яка допоможе зробити цей продукт ще точнішим і кращим!

Коротко про роль:
Це можливість для інженера-електрика стати частиною AI-команди, яка створює інструмент майбутнього для обробки електричних креслень. Ти будеш працювати з системою Drawer AI, яка автоматично аналізує PDF-креслення, аналізує найкращі маршрути для прокладання електричних мереж, групує сьоркути, рахує навантаження та формує специфікації.

Що ти будеш робити:

• Перевіряти результати Drawer AI:

- Чи правильно AI знайшов розетки, світильники, панелі?
- Чи правильно побудовані маршрути і групування?
- Чи підрахунки навантаження точні?
- Все це — в PDF/Web-інтерфейсі.
 

• Тестувати продукт на реальних проектах:

- Беремо креслення клієнта.
- Проходимо повний процес через Drawer AI.
- Потім перевіряємо, що AI все зробив як слід — і якщо ні, то:
- Створюєш баг-репорт в JIRA (навчимо як);
- Детально описуєш проблему (що не так і як має бути).
 

•  Допомагати покращувати продукт:

- Порівнювати, як AI працює проти “ручного” способу (іноді треба буде зробити руками те саме, що зробив AI, для перевірки);
- Відстежувати якість результатів у цифрах (наприклад, 83% пристроїв знайдено точно);
- Давати зворотній зв’язок команді девелоперів і продактів.
 

• Працювати з тренувальними даними:

- Структурувати PDF-и та креслення, на яких ми тренуємо AI;
- Вибирати з них релевантні приклади для тестів;
- Стежити за порядком у документації та матеріалах.
 

• Допомагати з проектами клієнта:

- Допомагати нашим клієнтам отримати якісний фінальний результат;
- Перевіряти та підтверджувати, що AI зробив усе як слід, перед тим як ми передамо креслення замовнику.
 

Ця робота для тебе, якщо ти:

- Електрик, проектувальник, або просто вмієш читати електричні креслення;
- Хочеш вийти на новий рівень і зайти в AI / ІТ;

- Знаєш Revit;
- Готовий вивчити американські стандарти (навчимо);
- Вмієш бути уважним до деталей, спокійно працювати з PDF-ами;
- Знаєш англійську на рівні, щоб читати американські креслення або писати тікети в JIRA;
- Хочеш вчитися, рости і розвиватись у новій сфері.
 

Що треба знати заздалегідь:

- Частина роботи буде монотонною – це перевірки, баг-репорти, повторення процесів вручну. Це не розробка, але від цього прямо залежить якість продукту.
- Від тебе залежить, наскільки Drawer AI стане крутим продуктом. Якщо ти будеш уважним, відповідальним, і трохи впертим – ми виростемо разом.
- Це позиція з перспективою – у майбутньому можеш перейти в QA-лідера, продакт-спеціаліста або навіть AI-аналітика.
 

Чому це круто:

- Ти залишаєшся у своїй сфері – інженерка/електрика, але заходиш у IT і AI;
- Розвиваєшся разом з продуктом, команда тебе підтримує;
- Вчишся реальним речам — AI, тестування, Jira, UAT;
- Маєш вплив — твоя робота реально змінює продукт.

We are looking for a Data Engineer to design and build scalable data platforms that support analytics, reporting, and data-driven decision-making across the organization. In this role, you will develop robust data pipelines, contribute to the evolution of our cloud data platform, and ensure reliable and efficient data processing across multiple projects and teams.

Responsibilities:

• Design and develop scalable and reliable data platforms and/or data pipelines for analytical and operational use cases
• Design and implement data processing workflows using distributed processing frameworks such as Apache Spark/PySpark (Databricks)
• Contribute to the evolution of the organization’s cloud data platform using Azure technologies (e.g., Azure Data Factory, Synapse, Microsoft Fabric, Databricks, Event Hub, Azure Data Lake Storage)
• Apply strong data modelling practices to support analytics, reporting, and downstream data consumption
• Integrate and process data from multiple internal and external sources while ensuring data consistency, quality, and reliability
• Take ownership of data pipeline reliability, monitoring, and performance to ensure scalable and maintainable data processing workflows
• Collaborate with data analysts, data scientists, and engineering teams to translate business and analytical requirements into robust data solutions
• Drive improvements in data engineering practices, including pipeline design standards, testing approaches, and operational reliability
• Participate in evaluating and introducing new tools and technologies within the data engineering ecosystem

Requirements:
 

• Strong hands-on experience (3+ years) in data engineering or building data processing platforms
• Strong SQL skills and solid experience with Python for building and maintaining data pipelines
• Experience working with distributed data processing frameworks such as Apache Spark/PySpark (Databricks experience is a strong advantage)
• Practical experience designing and implementing data pipelines in cloud environments, preferably within the Azure ecosystem
• Experience designing data pipelines and data models for production-scale analytical systems
• Strong understanding of data engineering concepts including ETL/ELT design, dimensional modeling, and data warehousing principles
• Experience working with modern data lake architectures and data formats such as Parquet and JSON
• Experience with workflow orchestration tools (e.g., Airflow)
• Experience with database development and performance optimization
• Ability to design scalable and maintainable data solutions with minimal supervision
• Strong collaboration and communication skills
• Professional working proficiency in English

Ми шукаємо Data Engineer, який допоможе проєктувати та будувати масштабовані платформи даних, що підтримують аналітику, звітність та прийняття рішень на основі даних в організації. У цій ролі ви розроблятимете надійні data pipelines, робитимете внесок у розвиток нашої хмарної платформи даних та забезпечуватимете надійну й ефективну обробку даних у межах кількох проєктів і команд.

Обов’язки:

• Проєктування та розробка масштабованих і надійних платформ даних та/або data pipelines для аналітичних і операційних сценаріїв використання
• Проєктування та реалізація workflow обробки даних із використанням розподілених фреймворків обробки даних, таких як Apache Spark/PySpark (Databricks)
• Участь у розвитку хмарної платформи даних організації з використанням технологій Azure (наприклад, Azure Data Factory, Synapse, Microsoft Fabric, Databricks, Event Hub, Azure Data Lake Storage)
• Застосування практик data modelling для підтримки аналітики, звітності та подальшого використання даних
• Інтеграція та обробка даних із різних внутрішніх і зовнішніх джерел із забезпеченням узгодженості, якості та надійності даних
• Відповідальність за надійність data pipelines, моніторинг і продуктивність для забезпечення масштабованих і підтримуваних workflow обробки даних
• Співпраця з data analysts, data scientists та інженерними командами для трансформації бізнесових і аналітичних вимог у надійні data-рішення
• Покращення практик data engineering, включно зі стандартами проєктування pipelines, підходами до тестування та операційною надійністю
• Участь в оцінці та впровадженні нових інструментів і технологій в екосистемі data engineering

Вимоги:

• Практичний досвід (3+ років) у data engineering або створенні платформ обробки даних
• Сильні навички SQL і впевнений досвід роботи з Python для побудови та підтримки data pipelines
• Досвід роботи з розподіленими фреймворками обробки даних, такими як Apache Spark/PySpark (досвід із Databricks буде значною перевагою)
• Практичний досвід проєктування та реалізації data pipelines у хмарних середовищах, бажано в екосистемі Azure
• Досвід проєктування data pipelines і моделей даних для аналітичних систем у продакшені
• Ґрунтовне розуміння концепцій data engineering, включно з ETL/ELT, dimensional modeling та принципами data warehousing
• Досвід роботи з сучасними архітектурами data lake та форматами даних, такими як Parquet і JSON
• Досвід роботи з інструментами оркестрації workflow (наприклад, Airflow)
• Досвід розробки баз даних і оптимізації продуктивності
• Здатність проєктувати масштабовані та підтримувані data-рішення з мінімальним наглядом
• Сильні навички комунікації та співпраці
• Високий рівень англійської мови

Are you an experienced Data Engineer ready to tackle complex, high-load, and data-intensive systems? We are looking for a Senior professional to join our team in Ukraine, Europe, working full-time on a project that will make a real impact in the public sector.

At Sigma Software, we specialize in delivering innovative solutions for enterprise clients and public organizations. In this role, you will contribute to building an integrated platform that collects, processes, and visualizes critical indicators, enabling better decision-making and analytics.

Why join us? You will work with a modern big data stack, have end-to-end involvement from ingestion to machine learning workflows, and be part of a professional team that values ownership, collaboration, and continuous improvement.

Project
You will be involved in developing an integrated platform that processes both batch and streaming data, ensures secure and governed data environments, and supports advanced analytics and machine learning workflows. The solution will leverage modern big data technologies to provide actionable insights for the public sector.

Responsibilities

• Design and implement data ingestion pipelines for batch and streaming data
• Configure and maintain data orchestration workflows (Airflow, NiFi) and CI/CD automation for data processes
• Design and organize data layers within Data Lake architecture (HDFS, Iceberg, S3)
• Build and maintain secure and governed data environments using Apache Ranger, Atlas, and SDX
• Develop SQL queries and optimize performance for analytical workloads in Hive/Impala
• Collaborate on data modeling for analytics and BI, ensuring clean schemas and dimensional models
• Support machine learning workflows using Spark MLlib or Cloudera Machine Learning (CML)

Requirements

• Proven experience in building and maintaining large-scale data pipelines (batch and streaming)
• Strong knowledge of data engineering fundamentals: ETL/ELT, data governance, data warehousing, Medallion architecture
• Strong SQL skills for Data Warehouse data serving
• Minimum 3 years of experience in Python or Scala for data processing
• Hands-on experience with Apache Spark, Kafka, Airflow, and distributed systems optimization
• Experience with Apache Ranger and Atlas for security and metadata management
• Upper-Intermediate English proficiency

Will be a plus

• Experience with Cloudera Data Platform (CDP)
• Advanced SQL skills and Hive/Impala query optimization
• BS in Computer Science or related field
• Exposure to ML frameworks and predictive modeling

Personal profile

• Ownership mindset and proactive approach
• Ability to drive initiatives forward and suggest improvements
• Team player with shared responsibility for delivery speed, efficiency, and quality
• Excellent written and verbal communication skills

Ти досвідчений Data Engineer і прагнеш реалізовувати складні, високонавантажені та орієнтовані на дані рішення? Ми шукаємо Senior спеціаліста, який приєднається до нашої команди та допоможе створити продукт, що матиме значний вплив на державний сектор.

У Sigma Software ми розробляємо сучасні та інноваційні рішення для корпоративних клієнтів і державних установ. У цій ролі ти станеш частиною команди, яка будує інтегровану платформу для збору, обробки та візуалізації ключових показників, щоб забезпечити якісну аналітику та підтримати прийняття рішень.

Чому варто приєднатися? Ти працюватимеш із передовим стеком big data, матимеш можливість впливати на всі етапи розробки — від ingestion до machine learning, і будеш у команді, де цінують ініціативність, командну роботу та постійний розвиток.

Проект
Ти братимеш участь у створенні інтегрованої платформи, яка працює як з batch, так і з streaming даними, забезпечує захищене та кероване середовище даних, а також підтримує розширену аналітику та machine learning процеси. Рішення базуватиметься на сучасних big data технологіях, щоб надавати корисні інсайти для державного сектору.

Обов’язки

• Розробляти та впроваджувати data ingestion pipelines для batch та streaming даних
• Налаштовувати та підтримувати workflows для оркестрації даних (Airflow, NiFi) та CI/CD автоматизацію
• Проєктувати та організовувати шари даних у Data Lake архітектурі (HDFS, Iceberg, S3)
• Створювати та підтримувати безпечне та кероване середовище даних за допомогою Apache Ranger, Atlas та SDX
• Писати SQL-запити та оптимізувати їх продуктивність для аналітичних навантажень у Hive/Impala
• Брати участь у моделюванні даних для аналітики та BI, створюючи чисті схеми та багатовимірні моделі
• Підтримувати machine learning workflows, використовуючи Spark MLlib або Cloudera Machine Learning (CML)

Вимоги

• Досвід створення та підтримки масштабних конвеєрів даних (batch та streaming)
• Глибокі знання основ data engineering: ETL/ELT, data governance, data warehousing, Medallion architecture
• Впевнене володіння SQL для роботи з Data Warehouse
• Мінімум 3 роки досвіду роботи з Python або Scala для обробки та трансформації даних
• Практичний досвід роботи з Apache Spark, Kafka, Airflow та оптимізацією розподілених систем
• Досвід впровадження практик безпеки та управління метаданими (Apache Ranger, Atlas)
• Рівень англійської - Upper-Intermediate

Буде плюсом

• Досвід роботи з Cloudera Data Platform (CDP)
• Поглиблені навички SQL та оптимізація запитів у Hive/Impala
• Ступінь бакалавра в галузі Computer Science або суміжній сфері
• Знайомство з ML-фреймворками та predictive modeling

Особистий профіль

• Відповідальність та проактивність
• Здатність просувати ідеї та пропонувати покращення
• Командний гравець, який розділяє відповідальність за швидкість, ефективність та якість
• Відмінні комунікативні навички — письмові та усні

Привіт, мене звати Яр, CEO компанії Checkbox!
Шукаю сильного дата-інженера, який побудує повноцінну платформу даних, що забезпечить нам єдине джерело істини. А також швидкий і зручний спосіб знаходити інсайти у великому масиві інформації.
Ми — українська продуктова фінтех-компанія. Допомагаємо підприємцям безпечно торгувати, щоб вони могли спати спокійно, знаючи, що не матимуть проблем із державою.
Щодня ми фікскалізуємо 3,5+ мільйона чеків для 100+ тисяч компаній та продовжуємо бурхливо зростати. Працюємо з 150 000+ активними касами щодня, терабайтами історичних даних і продакшн-навантаженням у ClickHouse.
Ми в точці переходу від певного хаосу перших років до керованої системи. Для цього будуємо систему довіри до чисел. Ти визначиш, як працюватиме data-функція компанії на роки вперед. Платформа даних для нас — не сервісна функція. Це стратегічний актив.

Шукаємо інженера даних, який (яка):

• Побудує єдину data-платформу та ELT-процес на базі ClickHouse, забезпечуючи джерело бізнес-істини.
• Відповідатиме за якісну архітектуру даних в нашому контексті.
• Зробить так, щоб дані були зручно доступні аналітикам, керівникам, продактам і маркетологам для пошуку якісних інсайтів.
• Забезпечить кращий перформанс CH, щоб найскладніші дешборди відкривалися вражаюче швидко.

Data Platform Owner у Чекбоксі:

• Організовує дата-пайплайни: raw → staging → marts.
• Готує необхідні data marts.
• Визначає canonical layer.
• Робить так, щоб ClickHouse розкривав увесь потенціал і «літав» наче блискавка.
• Формалізує та стандартизує всі важливі показники + SLA до них. Забезпечує правильність і консистентність розрахунків.
• Створює та підтримує metric registry.
• Формалізує та підтримує promotion flow для нових метрик.
• Забезпечує історичність і коректність снепшот-логіки.
• Слідкує за тим, що дата-платформа використовує ресурси ефективно та не коштує нам щомісяча як крило літака.
• Працює напряму з CEO, аналітиками та девопсами.

Упродовж першого року ми очікуємо:

• 100% core KPI мають чіткі визначення та логіку підрахунку.
• Усі управлінські дашборди працюють <3 секунд.
• Дані оновлюються близько до реального часу.
• Усі бізнес-метрики рахуються з canonical layer.
• CEO більше не доводиться звіряти числа вручну.

Важливо, щоб він/вона мали:

• 5–8 років досвіду в дата-інжинірингу.
• Бодай один побудований DWH або платформа даних з нуля.
• Глибоке розуміння ClickHouse (production).
• Вміння працювати з терабайтами даних.
• Майстерний SQL та data modeling.
• Практичний досвід із моніторингу та логування інфраструктури.
• Розуміння як правильно впроваджувати data quality / testing.
• Системне мислення та нетерпимість до хаосу.
• Обсесивне бажання, щоб все було як слід — точно і прозоро.
• Досвід побудови зрозумілої документації з нуля.

Необов’язково, але буде плюсом:

• Досвід роботи в SaaS-бізнес та у fintech-домені.
• Робота з event-based моделями.
• Успішна робота з BI-інструментами.
• Досвід побудови self-service аналітики.

У нас нічого не вийде, якщо ти:

• Архітектор, який не пише код.
• BI-спеціаліст, який хоче «перейти в архітектуру».
• Чув про ClickHouse, але не працював із ним.
• Працюєш лише з ad-hoc SQL-запитами.
• Схильний компенсувати власну невпевненість зайвими процесами та бюрократією.
• Відчуваєш прийнятним «і так сойдьот».

Чому варто працювати саме в Чекбоксі:

• Напряму впливатимеш на результати та успішність бізнесу.
• Власноруч побудуєш та станеш власником масштабної data-платформи, якою можна буде пишатися.
• Матимеш високий рівень автономії та повноважень, працюватимеш напряму з CEO.
• Разом із колегами, допоможеш розбудувати якісну аналітичну функцію в компанії.
• Працюватимеш над продуктом, яким щодня вже користуються сотні тисяч людей та що бурхливо зростає.
• Працюватимеш пліч-о-пліч із сильною й амбіційною командою, відкритою до зростання та змін.
• Гнучкий графік і гібридний формат — можна працювати віддалено та в зручний час.
• Ринкова винагорода, що відповідає рівню відповідальності та досягнутим результатам.

Fit4Me шукає Middle Data Engineer. Основною метою цієї ролі є проєктування, побудова та підтримка масштабованої інфраструктури даних, яка підтримує аналітику, звітність і прийняття бізнес-рішень у межах організації.

Роль зосереджена на розробці надійних пайплайнів, інтеграції кількох джерел даних, забезпеченні якості даних та наданні бізнес-орієнтованих рішень з даними, що відповідають цілям компанії.

Ця роль підійде тобі, якщо ти:

• Впевнено працюєш із SQL(BigQuery), Python, dbt, Google Cloud Platform (GCF, GCS, Cloud Build, Cloud Scheduler, Pub/Sub, IAM), Data Modeling.
• Любиш працювати з даними на рівні інфраструктури та хочеш будувати міцну основу для аналітики.
• Комфортно почуваєшся у задачах, де є великі обсяги даних, трансформації та кілька джерел одночасно.
• Помічаєш потенційні проблеми в даних і процесах ще до того, як вони вплинуть на результат.
• Любиш працювати у зв’язці з аналітиками та іншими командами, щоб разом будувати зручні data solutions для продукту.
• Поєднуєш технічну глибину, системність і відповідальність за результат.

Impact зони:

• Розробка та підтримка ELT-процесів для збору, трансформації та завантаження даних із різних джерел у BigQuery.
• Створення та розвиток dbt-проекту для побудови моделей даних (stage, base, intermediate, dimension, report layers), які використовуються в аналітиці та звітності.
• Оптимізація продуктивності пайплайнів, SQL-запитів і моделей даних.
• Валідація, тестування та контроль якості даних на всіх етапах пайплайну.
• Налаштування моніторингу й алертингу для дата-пайплайнів та ключових компонентів інфраструктури.
• Інтеграція даних із різних джерел(мобільний додаток, фінансова та маркетинг інформація), включно з API та зовнішніми системами.
• Співпраця з аналітиками, щоб дані були коректно структуровані, зручні у використанні та добре підтримували аналітичні потреби команди.
• Підтримка актуальної документації щодо архітектури даних, ELT-процесів, dbt-моделей.
• Інструменти, з якими ти працюватимеш: SQL, Python, dbt і хмарні сервіси GCP для побудови та підтримки data pipelines.

Ми очікуємо, що ти маєш:

• 3+ роки досвіду на позиції Data Engineer або в суміжній ролі з сильним фокусом на побудові пайплайнів та дата моделінгу.
• Глибоке знання SQL: складні запити, оптимізація, розуміння принципів Data Warehousing.
• Практичний досвід роботи з BigQuery, Snowflake, Redshift або іншими аналітичними сховищами.
• Досвід роботи з dbt, включно з тестуванням, документуванням і CI/CD-інтеграцією.
• Досвід побудови й підтримки ELT/ETL пайплайнів.
• Сильне володіння Python для інтеграцій, автоматизації та дата-процесів.
• Впевнене володіння Git та досвід роботи з GitHub/GitLab.
• Досвід роботи з GCP або іншими cloud-платформами.
• Уважність до деталей, сильне problem-solving мислення та відповідальність за результат.
• Досвід співпраці з аналітиками та розуміння їхніх потреб у даних.

Буде плюсом:

• Досвід оптимізації cost efficiency і продуктивності запитів у cloud-середовищах.
• Досвід роботи з real-time / streaming data solutions.
• Уміння зрозуміло пояснювати технічні рішення стейкхолдерам.

Твій шлях:

Інтерв’ю з Recruiter → Інтерв’ю з Product Analyst та Data Engineer → Фінальне інтерв'ю з HR D → Job Offer 🚀

Are you an experienced Data Engineer ready to tackle complex, high-load, and data-intensive systems? 
We are looking for a Senior professional to join our team in Ukraine, Europe, working full-time on a project that will make a real impact in the public sector.

At Sigma Software, we specialize in delivering innovative solutions for enterprise clients and public organizations. In this role, you will contribute to building an integrated platform that collects, processes, and visualizes critical indicators, enabling better decision-making and analytics.

Why join us? You will work with a modern big data stack, have end-to-end involvement from ingestion to machine learning workflows, and be part of a professional team that values ownership, collaboration, and continuous improvement.
 

Project
You will be involved in developing an integrated platform that processes both batch and streaming data, ensures secure and governed data environments, and supports advanced analytics and machine learning workflows. The solution will leverage modern big data technologies to provide actionable insights for the public sector.
 

Responsibilities

• Design and implement data ingestion pipelines for batch and streaming data
• Configure and maintain data orchestration workflows (Airflow, NiFi) and CI/CD automation for data processes
• Design and organize data layers within Data Lake architecture (HDFS, Iceberg, S3)
• Build and maintain secure and governed data environments using Apache Ranger, Atlas, and SDX
• Develop SQL queries and optimize performance for analytical workloads in Hive/Impala
• Collaborate on data modeling for analytics and BI, ensuring clean schemas and dimensional models
• Support machine learning workflows using Spark MLlib or Cloudera Machine Learning (CML)
   

Requirements

• Proven experience in building and maintaining large-scale data pipelines (batch and streaming)
• Strong knowledge of data engineering fundamentals: ETL/ELT, data governance, data warehousing, Medallion architecture
• Strong SQL skills for Data Warehouse data serving
• Minimum 3 years of experience in Python or Scala for data processing
• Hands-on experience with Apache Spark, Kafka, Airflow, and distributed systems optimization
• Experience with Apache Ranger and Atlas for security and metadata management
• Upper-Intermediate English proficiency
   

Will be a plus

• Experience with Cloudera Data Platform (CDP)
• Advanced SQL skills and Hive/Impala query optimization
• BS in Computer Science or related field
• Exposure to ML frameworks and predictive modeling
   

Personal profile

• Ownership mindset and proactive approach
• Ability to drive initiatives forward and suggest improvements
• Team player with shared responsibility for delivery speed, efficiency, and quality
• Excellent written and verbal communication skills
   

Ти досвідчений Data Engineer і прагнеш реалізовувати складні, високонавантажені та орієнтовані на дані рішення? Ми шукаємо Senior-спеціаліста, який приєднається до нашої команди та допоможе створити продукт, що матиме значний вплив на державний сектор.

У Sigma Software ми розробляємо сучасні та інноваційні рішення для корпоративних клієнтів і державних установ. У цій ролі ти станеш частиною команди, яка будує інтегровану платформу для збору, обробки та візуалізації ключових показників, щоб забезпечити якісну аналітику та підтримати прийняття рішень.

Чому варто приєднатися? Ти працюватимеш із передовим стеком big data, матимеш можливість впливати на всі етапи розробки — від ingestion до machine learning, і будеш у команді, де цінують ініціативність, командну роботу та постійний розвиток.
 

Проект
Ти братимеш участь у створенні інтегрованої платформи, яка працює як з batch, так і з streaming даними, забезпечує захищене та кероване середовище даних, а також підтримує розширену аналітику та machine learning процеси. Рішення базуватиметься на сучасних big data технологіях, щоб надавати корисні інсайти для державного сектору.
 

Обов’язки

• Розробляти та впроваджувати data ingestion pipelines для batch та streaming даних
• Налаштовувати та підтримувати workflows для оркестрації даних (Airflow, NiFi) та CI/CD автоматизацію
• Проєктувати та організовувати шари даних у Data Lake архітектурі (HDFS, Iceberg, S3)
• Створювати та підтримувати безпечне та кероване середовище даних за допомогою Apache Ranger, Atlas та SDX
• Писати SQL-запити та оптимізувати їх продуктивність для аналітичних навантажень у Hive/Impala
• Брати участь у моделюванні даних для аналітики та BI, створюючи чисті схеми та багатовимірні моделі
• Підтримувати machine learning workflows, використовуючи Spark MLlib або Cloudera Machine Learning (CML)
   

Вимоги

• Досвід створення та підтримки масштабних конвеєрів даних (batch та streaming)
• Глибокі знання основ data engineering: ETL/ELT, data governance, data warehousing, Medallion architecture
• Впевнене володіння SQL для роботи з Data Warehouse
• Мінімум 3 роки досвіду роботи з Python або Scala для обробки та трансформації даних
• Практичний досвід роботи з Apache Spark, Kafka, Airflow та оптимізацією розподілених систем
• Досвід впровадження практик безпеки та управління метаданими (Apache Ranger, Atlas)
• Рівень англійської — Upper-Intermediate
   

WILL BE A PLUS:

• Досвід роботи з Cloudera Data Platform (CDP)
• Поглиблені навички SQL та оптимізація запитів у Hive/Impala
• Ступінь бакалавра в галузі Computer Science або суміжній сфері
• Знайомство з ML-фреймворками та predictive modeling
   

PERSONAL PROFILE:

• Відповідальність та проактивність
• Здатність просувати ідеї та пропонувати покращення
• Командний гравець, який розділяє відповідальність за швидкість, ефективність та якість
• Відмінні комунікативні навички — письмові та усні