Lead Data Software Engineer
Ми шукаємо досвідченого Lead Software Data Engineer для поповнення нашої команди. Наш клієнт, всесвітньо відома багатонаціональна технологічна компанія, розташована в Каліфорнії та входить у Велику п’ятірку технологічних компаній, розширює партнерство з EPAM.
Спеціалізація клієнта:
-побутова електроніка
-програмне забезпечення
-онлайн-послуги
Ви працюватимете з експертами та технологіями світового рівня з самого серця Кремнієвої долини, займаючись розробкою продуктів та послуг, якими щодня користуються мільярди людей.
НАВИЧКИ:
5+ років практичного досвіду роботи із Big Data: Hadoop (HDFS, YARN або Mesos), Spark
Знання та практичний досвід застосування SQL у контексті роботи із Big Data: Spark SQL, Hive QL
Знання Spark
Оптимізація планів виконання Spark за допомогою Spark UI
Хороше знання Scala, включаючи фунціональні бібліотеки Scala (Cats)
Знання основ пакетної обробки та принципів ETL у сховищах даних
Знання міграції схем та еволюції наборів даних
Володіння усною та письмовою англійською мовою не нижче рівня B2
Уміння швидко навчатись та вивчати новий набір інструментів і технологій, що використовуються на проєкті: сервісні платформи, постачальники телеметрії, Spark-as-a-Service, система збору та багато іншого
ОБОВ'ЯЗКИ:
- Розробка дата пайплайнів, задач для створення нових вихідних датасетів в рамках розробки нового функціоналу
- Адаптація існуючих дата пайплайнів для інтеграції з різноманітними платформами, інструментами та сервісами
- Правка помилок в коді та даних, які були згенеровані через неправильну логіку або реалізацію
- Швидкий аналіз та дослідження даних для допомоги продакт менеджмент команді
- Здійснення моніторингу і усунення виробничих проблем з наявними дата пайплайнами
- Розробка та впровадження якісних перевірок даних (контроль якості)
- Планування обсягу нових розробок: оцінювання необхідних ресурсів, планування часових рамок виконання завдань
- Покращувати завдання, додатки та систему, якою ми керуємо, у всіх аспектах: якість коду, складність, обслуговування, документація
- Комунікувати з іншими інженерами з обробки даних у команді, колегами та керівниками проєктів щодо статусу, проблем, оцінок, часових рамок тощо