Migration der Cloudera-Datenplattform
On-Premises-Big-Data-Infrastruktur wurde auf Azure PaaS migriert
Kunde: Führendes Unternehmen in der Öl- und Gasindustrie, USA
16
Monate bis zur vollständigen Migration, im Vergleich zu 18 geplanten
4
Monate bis zum MVP
8+ TB
Daten, 55+ Ingestion-Komponenten, 25+ Analyseprodukte
Herausforderung
Eine komplexe On-Premise-Cloudera-Plattform musste Azure innerhalb von 18 Monaten erreichen, mit minimalem Refactoring und ohne Unterbrechung des Geschäfts. Es enthielt mehr als 55 Aufnahmekomponenten, mehr als 25 Analyseprodukte und mehr als 8 TB verschiedener Daten, die an Legacy-Technologien wie Oozie und HDFS gebunden waren.
Lösung
Eine schrittweise Azure PaaS-Migration nach dem MVP-First-Prinzip, bei der wiederverwendbare Accelerators die repetitive Arbeit bei der Verschiebung von Ingestion-Komponenten und Analytics-Produkten übernehmen. Hub-and-Spoke-Architektur, ereignisbasierte Pipeline-Ausführung sowie maßgeschneiderte Toolings für Automatisierung, Validierung und Monitoring.
Implementierung
- 01Entdeckung und Komplexitätsbewertung der bestehenden Systeme
- 02Migrations-POCs und MVP auf Azure HDInsight, ADLS Gen2 und Data Factory
- 03Beschleuniger für Ingestionsgenerierung, Pipeline-Migration, CI/CD und Datenvalidierung
- 04Ereignisgesteuerte Architektur mit ExpressRoute für lokale Konnektivität
- 05Hub-and-Spoke-Ressourcentrennung für Kosten- und Sicherheitsisolierung
Business-Impact
MVP in 4 Monaten bereitgestellt, vollständige Migration in 16 Monaten
Die On-Prem-Plattform wurde stillgelegt
Neue Funktionen im Prozess implementiert: granulare Abrechnung, Smart Monitoring, On-Demand-Compute, Daten Lineage
Automatisierte Migration von Ingestion-Prozessen und Pipelines – schneller und konsistenter als manuelle Umsetzung
Technologie-Stack
Sie haben ein komplexes System, das aufgebaut oder modernisiert werden muss?
Teilen Sie uns mit, was sich ändern muss. Wir bringen die relevanten Domain- und Engineering-Leads ins Gespräch.