Scala/Python інженер по аналізу даних з досвідом в Apache Spark на AWS (offline)

Цілі проекту:
Розробити нову платформу інтелектуального аналізу даних на AWS на заміну старій. Очікується, що ця платформа:
- Дозволятиме бізнесу, аналітикам і вчених даних проводити дослідження, щоб отримати уявлення про клієнтів, бізнес-операції, тощо, а також побудувати моделі машинного навчання для прогнозування та рекомендацій, і здійснення A/B тестування.
- Підтримуватиме підключення нових джерел даних, додавання функції в дані, запуск нових моделей машинного навчання у виробництво без необхідності написання коду.
- Зможе зберігати дані, підтримуючи необхідний рівень стійкості та узгодженості даних, бути економічно ефективною та належним чином автоматизованою.

Вимоги до кандидата:
- Чітке розуміння ETL та згортання даних;
- Досвід роботи з Spark, Kafka, Spark Stream;
- Досвід роботи з AWS;
- Повноцінне розуміння функціонального програмування і обробки потокових даних;
- Досвід розробки на Java, Scala, SQL та Python;
- Досвід налаштування безперервної інтеграції, автоматизації тестування та моніторингу;
- Досвід в проектуванні розподілених систем і застосування кращих практик їх розробки;
- Англійська мова рівня B1+

Не завадить:
Досвід роботи з Hive, Hadoop
Досвід роботи з Tableau або іншими інструментами BI
Досвід роботи з Presto і Adhoc аналізом

Обов'язки:
- Брати активну участь у розробці, проводити рецензування коду;
- Працювати з архітектором даних для уточнення дизайну і вимог.

About Secret Circle

The Secret Circle Solutions була заснована програмістом з досвідом роботи у DataArt та Lohika й персональними наробітками у сфері розробки на .NET і керування життєвим циклом ПЗ і юристом-підприємцем зі значним досвідом у бізнесі.

Наша місія використовуючи найбільш релевантні технології створювати найбільш ефективні для клієнта рішення.

Ми розробляємо програмне забезпечення для стартапів і великого бізнесу й практикуємо сучасний DevOps підхід який допомагає новачкам швидше навчатися та робити менше помилок, а досвідченим розробникам сконцентруватися не на вирішенні проблем в команді, а на розробці корисного функціоналу для клієнта.

Company website:
https://secretcircle.solutions/