Senior Data Engineer Remote - SparePartsNow GmbH

deine rolle:

Zur Verstärkung unseres Teams suchen wir ab sofort eine(n) (Senior) Data Engineer (m/w/d). Remote - Rhein/Ruhr oder München. Als Data Engineer spielst du eine zentrale Rolle beim Aufbau und der Weiterentwicklung unserer Datenplattform. Du sorgst dafür, dass aus unterschiedlichsten Rohdaten – insbesondere Produktdaten – hochwertige, verlässliche und skalierbare Datensätze entstehen, die als Grundlage für Analytics, Reporting und datengetriebene Entscheidungen dienen.

was dich bei uns erwartet:

• Konzeption und Umsetzung moderner Datenpipelines: Du entwickelst und optimierst Batch- und Streaming-Datenpipelines und sorgst dafür, dass Daten zuverlässig, performant und skalierbar verarbeitet werden.
• Aufbau leistungsfähiger ETL-/ELT-Prozesse: Mit Python und Databricks konzipierst, implementierst und betreibst Du robuste Datenintegrationsprozesse – von der Rohdatenaufnahme bis zur Bereitstellung für Analytics.
• Entwicklung zukunftssicherer Datenmodelle: Du entwirfst, verwaltest und optimierst Datenmodelle für analytische Anwendungen und nachgelagerte Systeme und stellst deren Konsistenz und Wartbarkeit sicher.
• Qualität und Stabilität der Datenplattform: Du überwachst und verbesserst kontinuierlich Datenqualität, Performance und Stabilität über die gesamte Plattform hinweg und etablierst geeignete Monitoring- und Testing-Strategien.
• Enge Zusammenarbeit mit Team und Fachbereichen: Du arbeitest eng mit dem Entwicklungsteam zusammen und stimmst Dich mit den Fachbereichen zu datenbezogenen Anforderungen ab, um fachlich und technisch optimale Lösungen zu schaffen.

was wir uns von dir wünschen…

• Python-Kenntnisse im Data Engineering: Du verfügst über sehr gute Kenntnisse in Python und setzt diese sicher für die Entwicklung von Datenpipelines ein.
• Erfahrung mit modernen Datenplattformen: Du hast praktische Erfahrung mit Technologien wie Databricks, Apache Airflow, Apache Spark, Google BigQuery, Microsoft Fabric oder vergleichbaren Plattformen und weißt, wie man sie effizient einsetzt.
• Sicherer Umgang mit SQL und Datenmodellierung: Du beherrschst SQL auf fortgeschrittenem Niveau und bringst fundierte Kenntnisse in relationaler Datenmodellierung mit.
• Know-how in ETL-/ELT-Architekturen: Du kennst gängige Architekturmuster für Datenintegration und hast Erfahrung in der Orchestrierung komplexer Daten-Workflows.
• Cloud- und Storage-Verständnis: Du bist vertraut mit Cloud-basierten Datenplattformen sowie Speicherlösungen wie Data Lakes oder Object Storage und verstehst deren architektonische Besonderheiten.
• Erfahrung im ML/AI-Umfeld: Idealerweise hast du bereits Erfahrung mit Machine-Learning- oder AI-Projekten gesammelt, z. B. beim Aufbau und Betrieb von AI-Workflows oder auch beim Training und der Integration von Modellen in produktive Datenprozesse.
• Qualitätsbewusstsein und Perfor