Das Projektteam von 29FORWARD übernahm die Aufgabe, für eine nordrhein-westfälische Bank ein modernes Data-Warehouse auf Basis von Data Vault zu entwickeln und zu implementieren. Ziel war es, die Datenanalyse nachhaltig zu verbessern und gleichzeitig die technische Grundlage für skalierbare und regelbasierte Datenprozesse zu schaffen
Folgende Probleme galt es zu lösen:
Vor Beginn der Zusammenarbeit mit 29FORWARD sah sich die nordrhein-westfälische Bank mit einer Reihe grundlegender Herausforderungen in ihrer bestehenden Datenarchitektur konfrontiert:
Fehlende Datenkonsistenz und -struktur: Die vorhandene Datenstruktur war so komplex und uneinheitlich, dass sie ein signifikantes Risiko für fehlerhafte Auswertungen und Entscheidungen barg.
Veraltete und nicht mehr wartbare Data Marts: Viele bestehende Data Marts waren durch historische Belastungen und wiederholte Anpassungen nicht mehr operativ nutzbar. Die Datenpflege war aufwendig, fehleranfällig und kaum skalierbar.
Entstehung eines Schatten-Data-Warehouse: Zahlreiche externe Datenquellen wurden zwar in die Analyseprozesse eingebunden, jedoch nicht im zentralen Data Warehouse erfasst – mit der Folge, dass ein paralleles, unkontrolliertes Schatten-Data-Warehouse entstand, das die Data Governance massiv erschwerte.
Diese Ausgangslage machte deutlich: Es bedurfte einer tiefgreifenden Modernisierung der Datenarchitektur, um eine zuverlässige, skalierbare und zukunftssichere Analysebasis zu schaffen. Der Einsatz eines fortschrittlichen Data Vault Modells versprach die nötige Flexibilität, Nachvollziehbarkeit und Struktur, um das komplexe Datenökosystem langfristig beherrschbar zu machen.
Optimierter Datenfluss im Reporting
Um die Datenhaltung zukunftssicher und leistungsfähig zu gestalten, implementierte 29FORWARD eine Data Vault Architektur, die als skalierbares Fundament für alle aktuellen und zukünftigen Datenanforderungen der Bank dient. Dieses Modell unterstützt eine parallele Datenbeladung, erleichtert die Integration neuer Datenquellen und schafft eine robuste Basis für flexibles, wachstumsorientiertes Data Management.
Da die Bank bereits mit SAS und SAS Visual Analytics (VA) arbeitete, setzte das Projektteam gezielt auf SAS Base und SAS Macro, um alle ETL-Prozesse effizient zu steuern und zu automatisieren. Diese konsequente Nutzung vorhandener Tools beschleunigte die Umsetzung und reduzierte den Schulungsaufwand erheblich.
Ein weiteres zentrales Element war der Aufbau eines Raw-In-Layers, der als Data Integration Layer sämtliche eingehenden Rohdaten zentral erfasst. In dieser vorgelagerten Schicht sammelte, harmonisierte und strukturierte 29FORWARD die Daten, bevor sie in den eigentlichen Data Vault überführt wurden. Auf diese Weise konnte das Team beispielsweise Vertragsinformationen aus vier unterschiedlichen Quellsystemen konsolidieren und einem gemeinsamen Hub zuordnen – ein wesentlicher Schritt hin zu einem einheitlichen und nachvollziehbaren Datenmodell.
Orientierung und semantische Modellierung der Daten und Analyse der bestehenden Reports
Gleichzeitig beschaffte sich 29FORWARD einen Überblick über die Ausgangssituation.
29FORWARD steuerte die Vault-Beladung über ein zentrales Excel-Tool, das alle relevanten Informationen zum Raw-In Layer und den einzelnen Data Vault-Bausteinen enthielt. Das Team nutzte die Vorteile des Data Vault Modells und befüllte Hubs, Links und Satelliten parallel – ohne voneinander abhängig zu sein. Nur durch die nachgelagerte Transformationsschicht und das definierte Cleanup war eine klare Lade-Reihenfolge notwendig.
Gleichzeitig analysierte das Team die bestehende Systemlandschaft. Es erfasste sämtliche proprietären, historisch gewachsenen Systeme und überführte die Struktur in ein semantisches Datenmodell. Dieses Modell diente als Grundlage für ein erstes logisches Datenmodell mit 8 Hubs, 15 Links und 16 Satelliten.
29FORWARD arbeitete sich systematisch durch 280 Reports und 30 Data Marts, um alle Beladungsprozesse und Reportings korrekt abzubilden. Ziel war eine vollständige und konsistente Abbildung der Fachlogik im neuen Datenmodell.
Raw Vault sichert Datenquelle – Business Vault bildet Fachlogik ab
Im Raw Vault speicherte das Team alle Daten quellecht und unverändert – ein zentraler Schritt zur Umsetzung des Single Point of Truth. Die Businesslogik und Reportberechnungen basieren nun direkt auf dieser gesicherten Datenbasis.
Im nächsten Schritt überführte 29FORWARD die Inhalte in den Business Vault, wo erstmals fachliche Strukturen wie Bridge Tables oder Point-in-Time Tables (PIT) zum Einsatz kamen. Diese erlauben zeitliche Analysen und erleichtern komplexe Verbindungen zwischen weit entfernten Hubs. So entstand eine leistungsfähige fachliche Schicht für das Reporting.
Monitoring beschleunigt Ladeprozesse und erhöht Transparenz
Für jede Beladung – ob Hub, Link, Satellit oder Transformation – richtete das Team ein eigenes Monitoring ein. Dieses Tracking erfasst Laufzeiten, letzte Verarbeitungszeitpunkte, Datenmengen und Auffälligkeiten. Im Fehlerfall kann man so gezielt betroffene Tabellen neu laden.
Um die Ladezeiten zu minimieren, implementierte 29FORWARD die Data-Vault-Logik, bei der neue Daten angehängt statt einsortiert werden. Die fachliche Zuordnung erfolgt später im Business Vault.
Durch das Monitoring erkannte das Team langsame Prozesse (Langläufer) und fasste schnelle Ladeprozesse in Batches zusammen. Diese optimierte Job-Gruppierung senkt die Gesamtlaufzeit durch parallel ausgeführte Ladevorgänge spürbar.
Visualisierung und Hashing optimieren Vault-Architektur
Zur besseren Übersicht erstellte 29FORWARD eine grafische Darstellung des Data Vaults in Microsoft Visio. Mit Data-Vault-konformen Symbolen visualisierte das Team alle Ebenen – auf Wunsch nur Hubs, Links oder Satelliten – inklusive der Schlüsselstrukturen.
Für die eindeutige Identifikation von Geschäftsobjekten nutzt die Architektur Hashwerte als Business Keys. Um Kollisionen (Hash Collisions) möglichst zu vermeiden, setzte 29FORWARD auf erweiterte Hashlängen und ergänzte die Architektur mit Kontrollmechanismen zur automatisierten Erkennung und Meldung möglicher Konflikte.
Datenarchitektur wächst mit der Komplexität der Systeme
Während das ursprüngliche semantische Modell nur einfache Geschäftsprozesse abbildete, erkannte das Team schnell die Notwendigkeit zur Erweiterung. Viele operative Systeme wiesen fehlende Zeitstempel oder gleichzeitig gültige Datenzeilen auf – ein komplexes Szenario für historisierte Datenmodelle.
29FORWARD erweiterte das Modell iterativ. Am Ende umfasste es 62 Hubs, 72 Links und 169 Satelliten – eine strukturierte Abbildung selbst der anspruchsvollsten Datenkonstellationen.
Projektergebnis: Effizientes, erweiterbares Data Warehouse mit voller Transparenz
Die Bank profitiert nun von einem vollständig automatisierten Data Vault-basierten Data Warehouse. Das System lädt Raw-Daten und Business-Informationen automatisiert – gesteuert über ein zentrales Excel-Interface.
Sämtliche Reports nutzen nun valide, zentrale Datenquellen. Neue Reports oder zusätzliche Daten lassen sich unkompliziert integrieren. Die Ladezeiten sind deutlich gesunken, das Monitoring erhöht die Transparenz – und die neue Architektur schafft die Basis für nachhaltige Datenqualität im Reporting.
Das 29FORWARD Team dieses Projekts möchte sich hiermit nochmals für die effiziente und bereichernde Zusammenarbeit bedanken!
