Senior Big Data Engineer (offline)

Необходимые навыки
— Опыт работы в роли инженера данных не менее 2-х лет
— Практические навыки проектирования и реализации систем сбора и обработки данных
— Понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области
— Понимание принципов распределенных вычислений
— Способность осуществлять исследование данных (data exploration) и взаимодействовать с экспертами предметной области с целью достижения бизнес-целей
— Глубокое знание SQL и NoSQL, опыт работы с различными СУБД (Oracle / MySQL / PostgreSQL / Cassandra и пр.)
— Практический опыт работы с элементами Hadoop экосистемы
Apache Spark: Core, SQL
— Streaming / Stream Processing
— Практический опыт работы с Cloud (AWS, Azure и т.п.)
— Java и/или Scala и/или Python

Будет плюсом
— Apache Spark: Streaming, GraphX
— Apache Ignite
— Apache Flink
— Apache (Confluent) Kafka / Apache Pulsar
— NoSQL (Cassandra / Hbase / Kudu / Impala)
— Indexing engines (Elastic Search / Solr)
— Apache Hive (Tez), Pig
— AWS: S3, EMR, EC2, Lambda, Kinesis/Kinesis Firehose, IAM, Athena, Glue, DynamoDB, Redshift, Aurora
— Azure: Blob storage, HDInsight, VM, Functions, Event Hubs etc.
— Alluxio
— Gradle

Предлагаем
— Официальное оформление
— Конкурентный уровень з/п
— Бонус по итогам года работы в компании
— Работа в ультрасовременном офисе (UNIT.City)
— Возможность применять самые современные технологии
— Возможность профессионального роста
— Медицинскую страховку по истечении трехмесячного срока

Обязанности
— Разработка конвейеров данных (data pipelines) с целью обеспечения сбора, обработки и структурирования данных для последующего анализа и использования в системе
— Разработка оптимальной структуры хранения, передачи, предоставления данных по конкретному продукту (подсистеме)
— Разработка и внедрение эффективных механизмов и способов взаимодействия по данным между командами аналитики и ИТ инфраструктуры ДТЭК
— Взаимодействие с аналитиками данных, владельцем продукта для определения требований к выгрузке, конвертации и представлению данных в рамках конвейеров данных
— Взаимодействие с архитектором и руководителем группы для обеспечения качества разрабатываемых технических решений обработки данных
— Участие в создании POC с нуля — проектирование, разработка и прототипирование
— Участие во всех циклах разработки — дизайн, кодирование, тестирование и релиз
— Проведение код ревью с целью обеспечения качества разработки
— Применение концепции непрерывной интеграции и доставки (CI/CD)
— Оптимизация конвейеров данных и усовершенствование архитектуры с точки зрения эффективности функционирования как отдельных элементов, так и системы в целом

About DTEK

The company is going through a digital revolution, which has led to a huge investment in the technical side of the business!

You will have the opportunity to work in a variety of areas affecting many facets of the company and on solutions that impact the entire enterprise as you continue to grow your knowledge and experience.

DTEK Innovation - new technical concepts to the company

Company website:
https://dtek.com/