Data Integration Engineer (m/w/d) - Schwerpunkt Streaming & Confluent

Die CITTI IT ist das technologische Herzstück der CITTI | CHEFS CULINAR Unternehmensgruppe. Mit über 250 engagierten IT-Expertinnen und -Experten gestalten wir die digitale Zukunft eines der führenden Großhandelsunternehmen für Food- und Non-Food-Artikel. Von unserem Hauptsitz in Kiel aus betreuen wir sämtliche IT-Belange der gesamten Unternehmensgruppe - von der Softwareentwicklung über die Steuerung und Vernetzung komplexer IT-Systeme bis hin zur Entwicklung und Umsetzung moderner Sicherheitsarchitekturen.

Wir verantworten den reibungslosen Betrieb aller Anwendungen und Systeme in unseren Rechenzentren, unterstützen unsere Kolleginnen und Kollegen im Tagesgeschäft und treiben innovative IT-Strategieprojekte voran. Dabei arbeiten wir eng mit den verschiedenen Geschäftsbereichen zusammen - vom Großhandel über die Einkaufszentren inkl. Einzelhandel bis hin zum internationalen Schiffsausrüster.

Unsere Arbeit ist geprägt von Teamgeist, Innovationsfreude und dem Anspruch, die Digitalisierung der Unternehmensgruppe aktiv mitzugestalten. Wir bieten ein modernes Arbeitsumfeld, spannende Herausforderungen und viel Raum für persönliche Entwicklung. Werde Teil unseres Teams und bringe deine Ideen in eine zukunftsorientierte IT-Landschaft ein!

Zur Verstärkung unseres Teams suchen wir in Vollzeit (38,5 Std./ Woche) zum nächstmöglichen Termin einen Data Integration Engineer.

Als innovatives Unternehmen treiben wir die Modernisierung und Weiterentwicklung unserer Datenlandschaft konsequent voran. Im Rahmen unseres strategischen Transformationsprogramms bauen wir eine zentrale Daten- und Integrationsplattform auf, die als Single Point of Truth verschiedene Services in der gesamten Unternehmensgruppe bereitstellt. Die Plattform vereint mehrere Capabilities unter einem Dach: Streaming und Event-Driven Architecture, Lakehousing (als eine der zentralen Komponenten, umgesetzt auf Azure Databricks), Datenbereitstellung für vielfältige Konsument:innen sowie das Fundament für moderne Use Cases - insbesondere KI. Unser Team verantwortet dabei die Anbindung, Integration und Modellierung von (Roh-)Daten aus unterschiedlichsten Quellen und stellt sicher, dass die Plattform den steigenden Anforderungen an Flexibilität, Skalierbarkeit und Echtzeitverarbeitung gerecht wird.

Wir befinden uns im aktiven Aufbau - und suchen dich für einen der ersten Integrationspunkte der Plattform: Confluent Cloud (Apache Kafka) als zentralen Data Hub für Echtzeit- und Event-Daten. Dein Fokus liegt darauf, Datenquellen an Confluent anzubinden, die zugehörigen Integrationsprozesse von Grund auf zu gestalten, zu standardisieren und von Beginn an zu automatisieren - und diese anschließend im operativen Betrieb zu verantworten. Dabei arbeitest du eng mit Kolleg:innen aus (Business) Data Engineering, Data Architecture, Data Analysis und den Data Ownern zusammen. Dein Schwerpunkt liegt auf Confluent, du wirst aber auch mit Azure Databricks und weiteren relevanten Technologien der Plattform arbeiten.

 -> Anbindung von Datenquellen an Confluent Cloud:

• Du bindest Quellsysteme an unseren zentralen Data Hub an - vorrangig über Change Data Capture (CDC) und, wo fachlich sinnvoll, case-basiert über einen Custom Connector, den du mitentwickelst. Zur Anbindung gehört auch die entsprechende Vorbereitung, etwa die Katalogisierung der Quelldaten gemeinsam mit den Data Ownern, um eine saubere, nachvollziehbare Integration sicherzustellen.

-> Prozessgestaltung, Standardisierung und Automatisierung:

• Du konzipierst die Integrationsprozesse rund um diese Anbindungen so, dass sie standardisiert und von Anfang an automatisiert werden - von wiederverwendbaren, konfigurationsgetriebenen Mustern bis hin zu unternehmenseigenen Packages, die die Anbindung neuer Quellen und Topics effizient und ohne Code-Eingriff ermöglichen. Du etablierst Best Practices im Bereich Data Engineering und DataOps.

-> Betrieb der Integrationsstrecken:

• Du betreust die von dir aufgebauten Integrationsstrecken und Prozesse im operativen Betrieb, sorgst für Stabilität und Zuverlässigkeit, analysierst Fehlerquellen und entwickelst nachhaltige Lösungen.

-> Security, Datenschutz & Compliance:

• Du verantwortest die relevanten Security-Aspekte im Kontext deiner Integrationen - dazu gehört insbesondere die Umsetzung datenschutzrechtlicher Anforderungen (DSGVO), der sichere Umgang mit sensiblen Daten sowie Themen wie Zugriffs- und Secret-Management.

-> Reporting & Monitoring als Plattformkomponente:

• Du baust das Reporting und Monitoring für die Integrationsartefakte als eigene Plattformkomponente mit auf - von Consumer-Lag- und Pipeline-Monitoring über Datenqualitätsprüfungen bis hin zur End-to-End-Nachvollziehbarkeit - und schaffst damit Transparenz über den Zustand der Integrationsstrecken.

-> Datenmodellierung & Weiterverarbeitung:

• Du unterstützt die Überführung der integrierten (Event-)Daten in unser Lakehouse und die Modellierung nach dem Data-Vault-Ansatz und arbeitest hier eng mit den weiterverarbeitenden Bereichen des Teams zusammen.

->Zusammenarbeit, DevOps-Reviews & Wissenstransfer:

• Du arbeitest eng mit dem Team und den Stakeholdern zusammen, teilst dein Wissen und unterstützt das Team auch bei DevOps-Reviews über alle Plattformkomponenten hinweg - nicht nur im Confluent-Kontext.

• Wir suchen keine Alleskönner:innen mit jahrzehntelanger Berufserfahrung, sondern Menschen, die mit Begeisterung und Neugier an neue Aufgaben herangehen. Wenn du motiviert bist, dich in neue Tools und Technologien einzuarbeiten, bist du bei uns genau richtig. Fehlende Kenntnisse sind kein Hindernis - wir unterstützen dich mit Schulungen und ermöglichen dir, dich fachlich und persönlich weiterzuentwickeln. Entscheidend sind für uns deine Lernbereitschaft, dein Engagement und der Wunsch, gemeinsam im Team etwas zu bewegen.
• Du hast eine abgeschlossene Ausbildung / ein abgeschlossenes Studium im Bereich (Wirtschafts-)Informatik, Mathematik, Naturwissenschaften oder eine vergleichbare Qualifikation.
• Du hast Erfahrung in der Integration und Verarbeitung von Echtzeit- bzw. Streaming-Daten - idealerweise mit Apache Kafka (Confluent Cloud) und im Umfeld von Change Data Capture (CDC). Kenntnisse zu Themen wie Schema Registry, Avro, Debezium oder der Entwicklung von Konnektoren sind ein Plus.
• Du denkst in Prozessen: Du hast Freude daran, Integrationsstrecken zu konzipieren, zu standardisieren und zu automatisieren, statt Einzellösungen zu bauen.
• Du hast ein Bewusstsein für Security- und Datenschutzthemen (z. B. DSGVO) im Umgang mit Daten.
• Du verfügst über praktische Erfahrung in der Datenintegration, idealerweise im Umfeld von Data Warehousing, Data Lakehousing oder vergleichbaren Plattformen.
• Du hast Kenntnisse in der Entwicklung von ELT-Prozessen - Erfahrung mit Azure Databricks und Python (PySpark) sind ein Plus.
• Du hast idealerweise Erfahrung in der Datenmodellierung nach dem Data-Vault-Ansatz.
• Du bist sicher im Umgang mit gängigen Datenbank- und Cloud-Technologien (idealerweise Azure) und hast ein gutes Verständnis für die Herausforderungen und Chancen moderner Datenplattformen.
• Du arbeitest strukturiert, lösungsorientiert und eigenverantwortlich. Du bist teamfähig, kommunikationsstark und bringst gerne neue Ideen ein.
• Gute Deutschkenntnisse, die eine sichere Kommunikation im Arbeitsalltag ermöglichen, setzen wir voraus. Da wir international arbeiten, sind zudem sehr gute Englischkenntnisse in Wort und Schrift ein Muss.

• Die Möglichkeit, aktiv am Aufbau einer zukunftsweisenden Daten- und Integrationsplattform mitzuwirken - und einen ihrer ersten zentralen Integrationspunkte maßgeblich zu prägen.
• Ein junges, motiviertes, interdisziplinäres Team mit viel Gestaltungsspielraum und kurzen Entscheidungswegen.
• Vielfältige Möglichkeiten zur fachlichen und persönlichen Weiterentwicklung, z. B. durch Trainings, Zertifizierungen (etwa im Confluent-/Kafka- oder Databricks-Umfeld) und den Austausch mit Expert:innen.
• Urlaubs- und Weihnachtsgeld, vermögenswirksame Leistungen 
• Zuschüsse zur betrieblichen Altersvorsorge 
• 30 Tage Urlaub und flexible Arbeitszeit- und Gleitzeitregelungen 
• Personalkantine und kostenfreie Mitarbeiterparkplätze 
• Kooperation mit Fitness-Studios, u. a. Hansefit
• Vorzüge eines inhabergeführten Großunternehmens, wie z. B. kurze Entscheidungswege, selbstständiges und eigenverantwortliches Arbeiten 
• Bike-Leasing mit attraktiven Konditionen 
• Corporate Benefits: Mitarbeiterrabatte für bekannte Marken und Anbieter (z. B. Rabatte für Reisen) 
• Perfekt angebunden durch Veloroute 10, eigene Bahnstation und direkten Autobahnzubringer 
• direkter Mall-Zugang mit über 80 Stores, Ärztezentrum und Mitarbeiterrabatt für den Einkauf im CITTI Markt 
• Wir sponsern Ihren Arbeitsweg mit dem NAH.SH-Jobticket bzw. Deutschland-Ticket.