Data Engineer (offline)

Необходимые навыки
5+ лет опыта проектирования, разработки, тестирования, развёртывания и поддержки Data Lake/Data Warehouse решений
Экспертные знания Python в контексте создания ETL data pipelines
Экспертные знания PySpark: преобразования, агрегации, оконные функции, написание и оптимизация UDF
Экспертные знания SQL/NoSQL баз данных: MySQL, PostgreSQL, MongoDB
Опыт практической эксплуатации Big Data стека: Hadoop, Hive, Kafka, Spark, Cassandra.
Опыт создания комплексных аналитических систем
Умение находить и быстрые решения для экспериментов и стабильные production-ready в зависимости от обстоятельств

Будет плюсом
Опыт работы с AWS (EC2, EMR, ECS, Kinesis, S3)
Опыт программирования на Java/Scala
Опыт работы с аналитическими базами данных: Vertica, Exasol, Teradata, Redshift, BigQuery, Druid, Clickhouse
Навыки разработки в Docker/Kubernetes окружении
Незабытые университетские знания линейки, матана и статистики
Опыт создания продуктов с использованием machine learning

Предлагаем
Работу в активно растущей компании и участие в создании новых сервисов
300M событий в сутки в твоем распоряжении для проведения исследований.
Реализация своих навыков для решения интересных практических задач.
Действительно сложные вызовы, большие данные, много трафика и ответственности.
Адекватный менеджмент и открытая к эффективным решениям команда
Конкурентный уровень заработной платы
По-настоящему гибкий график работы
Отпуск без ограничений, больничные без справок.

Обязанности
Создание и валидация идей для построения data driven в компании
Разработка архитектуры и выбор технических решений
Разработка и поддержка корпоративного DWH
Разработка ETL data pipelines: загрузка из различных источников, очистка, преобразование, обогащение внешними данными, нормализация/денормализация, сохранение с учётом нюансов и ограничений, покрытие тестами, мониторинг, эксплуатация