Data Source Onboarding as a Service
Standardisierung und Automatisierung des Enterprise-Data-Ingestion
Kunde: Paketdienstleister, USA
6 Monate
bis zum MVP – erste Business-Unit vollständig migriert
BYOD
Source-Teams übernehmen das Ingestion ihrer eigenen Daten
Batch + Stream
ein gemeinsamer Onboarding-Prozess für beide Datenarten
Herausforderung
Autonome IT-Gruppen hatten die Daten isoliert und dupliziert, ohne Standardmethode: 200 + JMS-Quellen, 1000+ Teradata-Tabellen, 30+ Oracle Data Marts und mehr. Das Onboarding musste aufhören, davon abhängig zu sein, und für Batch und Streaming gleichermaßen auf die gleiche Weise funktionieren.
Lösung
Eine auf Azure basierende Datenplattform auf Grundlage des Bring-Your-Own-Data-Ansatzes: Die Source-Teams integrieren ihre Daten eigenständig in ein zentrales Lake- und Warehouse-System. Die Plattform unterstützt sowohl Batch- als auch Streaming-Verarbeitung und bietet Funktionen zur Harmonisierung, automatisierten Ingestion sowie automatischen Metadatenerfassung.
Implementierung
- 01Streaming-Infrastruktur über On-Prem-Kafka, Azure Event Hubs, Functions und Spark Streaming (Kappa-Architektur)
- 02Batch-Verarbeitung über Azure Data Factory und Databricks
- 03As-a-Service-Konfiguration für Ingestion und Harmonisierung
- 04Zentralisierter ADLS Gen2 und Delta Lake, organisiert nach Domänen
- 05Azure Purview für Metadaten, Glossar und Datenkatalog
Business-Impact
MVP-Bereitstellung in 6 Monaten
Erste Business-Unit vollständig migriert – mit minimalem IT-Aufwand
Ein einheitlicher Ingestion-Prozess für Batch- und Stream-Daten
Weniger Redundanz und geringere Speicherkosten über Abteilungen hinweg
Technologie-Stack
Sie haben ein komplexes System, das aufgebaut oder modernisiert werden muss?
Teilen Sie uns mit, was sich ändern muss. Wir bringen die relevanten Domain- und Engineering-Leads ins Gespräch.