BI-DWH Architektur
BI-DWH Datenstrukturen und Funktionen
in bestehende IT-Infrastruktur integrieren
BI-DWH Architektur
Die Bestandteile der BI-DWH Architektur umfassen zunächst die Datenquellen. Aus operativen ERP-Systemen oder externen Quellen über Schnittstellen oder direkte Datenbankanbindungen werden die Rohdaten für die BI-DWH Applikationen geliefert. Die Rohdaten werden mit individuellen ETL-Prozessen (Extract, Transform, Load) verarbeitet und dabei bereinigt, transformiert und in zentrale BI-DWH Datenstrukturen, z.B. Data Marts geladen.
Bei der Gestaltung der BI-DWH Datenstrukturen setze ich auf bewährte Architekturprinzipien z.B. Kimball oder Inmon und Methoden der Datenmodellierung z.B. snowflake. Zum einen werden dadurch Redundanzen minimiert und Hierarchien berücksichtigt und zum anderen der Grundstein zu performanten Datenzugriffen und Reporting gelegt.
Ein Teil der technischen Systemspezifikation widmet sich der Frage, wie geeignete Strukturen der BI – DWH Applikationen, in die bestehende IT-Architektur integriert werden können. Die Erfordernisse der BI-DWH Applikationen z.B. Datenverfügbarkeit und Performance, sind unter Aspekten der Sicherheit, Flexibilität und Skalierbarkeit architektonisch in bestehende, oder ggf. erweiterte, IT-Schichten und Komponenten zu integrieren. Die Dimensionierung von CPU, Speicher, Backup und Netzwerkkapazitäten erfolgt aufgrund zuverlässiger Schätzung der anfallenden Datenvolumen.
Dimensionierung & Integration
Wie lassen sich BI-DWH Anforderungen in die bestehende IT-Infrastruktur integrieren?
Auf der einen Seite sind die BI-DWH Anforderungen an IT Ressourcen. Auf der anderen Seite ist das Fundament der bestehenden IT-Infrastruktur. Beide Seiten zusammen zu bringen ist eine zentrale Aufgabe, zu der ich kompetent beitragen kann.
BI-DWH Anforderungen
ETL-Prozesse laden Datenquellen je nach Transformationsstufe in unterschiedliche BI-DWH Datenschichten. Ein transparenter Aufbau dieser Schichten erhöht für jede Datenquelle die Einhaltung von Qualitätsstandards und erleichtert die spätere Wartung und Fehlersuche beim Test.
Die konsolidierten Quelldaten landen in zentralen BI-DWH Repositories, z.B. Data Marts oder einem Enterprise Data Warehouse. Die Strukturen ergeben sich aus den physikalischen und relationalen Datenmodellen. Bei der Datenmodellierung spezifizieren das fachliche und technische Team alle Entitäten und deren Attribute und Beziehungen zueinander, z.B. Kunde – Produkte – Transaktionen. Aufgrund meiner Projekterfahrung empfehle ich eine ausgewogene Anwendung der Normalisierung (wenig Redundanz) und Denormalisierung (einfache Abfragestrukturen).
Je nach eingesetzter BI-Plattform z.B. SAS-Plattform, SAS-Viya können durch verteilte Systeme (Cloud Services), In-Memory und parallele Verarbeitung enorme Produktivitätssteigerungen erzielt werden, die in der Architektur entsprechend berücksichtigt werden.
BI-DWH Design
Von den Quelldaten bis zum Data Mart oder Enterprise Data Warehouse - von ETL Prozessen über ad hoc Reports bis zur automatisierten batch Verarbeitung.
BI-DWH Integration
Dispositive BI-DWH Systeme sind eigenständige, integrale Komponenten der IT Infrastruktur. Notwendige Erweiterungen sind Teil des Projektauftrages.
Requirement Specs
Irgendwann muss es für alle verbindlich sein. Auf der Basis Ihrer Standards oder anderer Industriestandards, z.B. IEEE, ISO erstelle ich die technischen Spezifikationen.