onsite
Ведущий Инженер по данным (Data Engineer) [CVM B2B, МТС Веб Сервисы]
Data Engineer
Мы находимся в поисках Ведущего Инженера по данным (Data Engineer). Вам предстоит развиваться направление отчетности продукта CVM B2B. Создавать и оптимизировать пайплайны для сбора и обработки данных; Контролировать качество данных; Проектировать схемы для хранения данных; Автоматизировать построения витрин данных; Оптимизировать запросы; Подготавливать техническую документацию; Разрабатывать и
About the role
Мы находимся в поисках Ведущего Инженера по данным (Data Engineer). Вам предстоит развиваться направление отчетности продукта CVM B2B. Создавать и оптимизировать пайплайны для сбора и обработки данных; Контролировать качество данных; Проектировать схемы для хранения данных; Автоматизировать построения витрин данных; Оптимизировать запросы; Подготавливать техническую документацию; Разрабатывать и оптимизировать витрины данных; Проводить интеграцию различных источников данных в DataLake; Создавать процессы репликаций в различные СУБД; Оптимизировать и поддерживать существующие ETL-процессы; Настраивать DQ-мониторинги и алертинги; Участвовать в Code Review. Опыт работы от 5 лет в качестве Data Инженера; Опыт работы в продуктовой команде от года; Продвинутые навыки работы с SQL; Уверенное владение Python и библиотеками для работы с данными и построения ETL процессов; Знание ClickHouse, onETL, Airflow, Spark; Умение работать с большими массивами данных (Hadoop, Hive, NiFi,
Skills
etlsqlpythonclickhouseairflowsparkhadoophiveflinkgitkafkaobservabilitydevopsnifi