Die Architektur von Datensystemen hat sich von zentralisierten, starre Schemen erzwingenden Data Warehouses über flexible Data Lakes bis hin zu dezentralisierten Data-Mesh-Ansätzen entwickelt, wobei jeder Schritt das wiederkehrende Problem der vorherigen Lösung adressierte.
Die Folge zeichnet die Entwicklungslinie analytischer Datenarchitekturen nach: vom klassischen Data Warehouse mit ETL-Prozessen und Schema-First-Ansatz über Data Lakes, die Flexibilität durch Schema-on-Read bringen, bis zu modernen Konzepten wie Lakehouse, Data Mesh und Data Fabric. Dabei wird klar, dass jede Architektur-Generation eine Lösung auf ein spezifisches Schmerz-Problem der vorherigen darstellte – von der Centralized-Control-Problematik beim Warehouse über die fehlende Schemaklarheit beim Lake bis zur Ownership-Frage beim Mesh.
Zahlen & Fakten
30 Jahre
Rainer Jaspert ist seit ungefähr 30 Jahren als Consultant tätig und hat die Entwicklung von Data-Systemen von Anfang an begleitet.
20 Jahre
Rainer Jaspert ist vor etwa 20 Jahren zu InnoQ gekommen, nach seiner intensiven Zeit mit Data Warehousing in den 1990ern.
Themen & Erkenntnisse
Quellen
• Data Mesh Architecture – Website mit Beispielen für Implementierungen
• ArtikelStefan Nägele – Artikel und Blog-Posts zu Heuristiken beim Data-Product-Schnitt
Alle Quellen findest du in der vollständigen FolgeWer spricht
SSven JohannHOST
Host des INNOQ Podcasts, führt durch die Episode und stellt Fragen zu Datenarchitekturen.
Alle Auftritte von Sven Johann →RRainer JaspertGAST
Data-Architekt und Senior Consultant bei INNOQ, mit 30 Jahren Erfahrung in Datenverarbeitung und Datensystemen, Spezialist für Data-Mesh- und Data-Fabric-Ansätze.
Alle Auftritte von Rainer Jaspert →KIDieser Inhalt wurde KI-gestützt erstellt und redaktionell geprüft.