onsite
Ведущий инженер по эксплуатации Data Lake / DevOps
Devops Engineer
Сопровождение Big Data Platform (BDP) — внутренней платформы данных банка, используемой дата-инженерами и аналитиками для сбора, хранения и обработки больших объёмов данных из различных источников. Платформа обеспечивает работу с данными для построения аналитической и BI-отчётности, дашбордов и внутренних сервисов. В её основе — архитектура Data Lake / Lakehouse и технологии S3 Object Storage,
About the role
Сопровождение Big Data Platform (BDP) — внутренней платформы данных банка, используемой дата-инженерами и аналитиками для сбора, хранения и обработки больших объёмов данных из различных источников.
Платформа обеспечивает работу с данными для построения аналитической и BI-отчётности, дашбордов и внутренних сервисов. В её основе — архитектура Data Lake / Lakehouse и технологии S3 Object Storage, Kubernetes, Apache Spark, Airflow, Flink и Kafka.
Команда отвечает за стабильность и доступность инфраструктуры платформы, производительность хранилищ и устранение возникающих инцидентов. Один из ключевых компонентов — высоконагруженное S3-хранилище, обрабатывающее сотни терабайт данных ежедневно.
Чем предстоит заниматься:
Сопровождение и эксплуатация внутренней Big Data Platform (BDP)
Обеспечение стабильной работы компонентов Data Lake / Lakehouse
Администрирование и поддержка высоконагруженной инфраструктуры
Skills
big dataamazon s3kubernetessparkairflowflinkkafkaansiblebashgrafanalinuxprometheuspythonsreterraformdata engineeringdata lakeiceberglakehouses3