Nexus X Data Studio · v5.0 Enterprise BI & Analytics Cockpit

📂

Interaktive Datenaufnahme (Data Ingestion & Landing Zone)

Ziehe beliebige Dateien per Drag & Drop hierher oder klicke zum Auswählen

.CSV .XLSX / Excel .JSON / JSONL .PARQUET .TSV / .TXT

✅ Datei erfolgreich geladen

Status des Schema-Profilers: Bereit für Analyse

Warten auf Daten-Upload. Ziehen Sie eine CSV-, Excel- oder JSON-Datei hierher.

Automatischer Scan Aktiv

Spalten-Profilierung & Semantische Rollen-Klassifikation:

Spaltenname	Inferred Typ	Eindeutige Werte	Semantische Rolle (Intelligente Klassifikation)	Qualitäts-Validierung
`id`	VARCHAR(50)	20 / 20 (100%)	🔑 PRIMARY KEY	✅ Eindeutig & Valide
`region`	VARCHAR(100)	8 Unikate	🏷️ DIMENSION (Geographie)	✅ ISO-Region zugeordnet
`kategorie`	VARCHAR(100)	5 Unikate	🏷️ DIMENSION (Produkt/Kunde)	✅ Standardisiert
`transaktionen`	INTEGER	18 Unikate	💰 FACT METRIC (Count)	✅ Positive Ganzzahlen
`volumen_eur`	DECIMAL(12,2)	20 Unikate	💰 FACT METRIC (Währung)	⚠️ Deutsches Komma bereinigt (1.250,50 € -> 1250.50)
`fehlerquote`	FLOAT	4 Unikate	📊 SLA METRIC (Qualität)	✅ Werte im SLA-Bereich (<0.1%)
`erstellungsdatum`	DATE	12 Unikate	📅 DATE / TIME (Partition)	⚠️ Format DD.MM.YYYY nach ISO-8601 überführt

Automatisierte Sternschema DDL (Master Pipeline Generator):

-- ====================================================================
-- MASTER PIPELINE: AUTOMATISIERTES STERNSCHEMA AUS KLASSIFIKATION
-- Quelle: PySpark & SQL Metadata Profiler (Alexander Fritzler)
-- ====================================================================

-- 1. DIMENSION: Geographie
CREATE OR REPLACE TABLE dim_geographie AS
SELECT DISTINCT
    ROW_NUMBER() OVER (ORDER BY region) AS region_dim_key,
    region AS region_name,
    CASE 
        WHEN region LIKE '%Stuttgart%' OR region LIKE '%Heilbronn%' THEN 'Baden-Württemberg'
        WHEN region LIKE '%München%' THEN 'Bayern'
        ELSE 'Deutschland / DACH'
    END AS bundesland
FROM bronze_raw_landing;

-- 2. FAKTEN-TABELLE: Fact Sales & Performance (Typisiert & Bereinigt)
CREATE OR REPLACE TABLE fact_sales_transactions AS
SELECT
    r.id AS transaction_pk,
    g.region_dim_key,
    r.kategorie,
    CAST(r.transaktionen AS INTEGER) AS transaction_count,
    -- Deutsches Währungsformat '1.250,50 €' automatisch zu Float / Decimal bereinigen:
    CAST(REPLACE(REPLACE(REPLACE(r.volumen_eur, '€', ''), '.', ''), ',', '.') AS DECIMAL(14,2)) AS volumen_eur_clean,
    r.fehlerquote,
    COALESCE(TRY_CAST(r.erstellungsdatum AS DATE), CURRENT_DATE) AS datum_iso
FROM bronze_raw_landing r
LEFT JOIN dim_geographie g ON r.region = g.region_name;

-- 3. VALIDIERUNG IM GOLD-LAYER (SLA CHECK)
SELECT 
    COUNT(*) AS total_rows,
    SUM(volumen_eur_clean) AS gesamt_volumen_eur,
    AVG(transaction_count) AS avg_transactions_pro_region
FROM fact_sales_transactions;

Verarbeitete Datensätze

📊

1.840.200

▲ +14.2% ggü. Vormonat

Abfragelatenz (DuckDB)

⚡

28 ms

In-Memory OLAP bereit

Datenqualität (SLA)

🛡️

99.85%

Warte auf Validierung

Gold-Layer Gesamtwert

💎

€ 5.240.000

▲ 12.8% Ertragssteigerung

Umsatz & Pipeline-Durchsatz (Monatstrend)

● Ist-Umsatz ■ Zielkorridor ▲ Durchsatz

Segment-Klassifizierung

ID	Region	Kategorie	Transaktionen	Volumen (EUR)	Fehlerquote	Status

Multi-Format Data Loader

Unterstützt direkte Aufnahme von CSV-, JSON-, Parquet- und Excel-Dateien. Die Daten werden automatisiert im Bronze-Layer serialisiert, im Silver-Layer typisiert und validiert, und stehen binnen < 35 ms im Gold-Layer für Abfragen bereit.

1. Auto-Schema Detection

Automatische Erkennung von Trennzeichen (Komma, Semikolon, Tab) und Typisierung von Zahlen & Datumsangaben.

2. In-Memory Columnar Speed

Verarbeitung direkt im Arbeitsspeicher mit Vektorisierung. Keine Cloud-Ladezeiten oder Übertragungskosten.

3. Live Dashboard Sync

Sobald eine Datei hochgeladen wird, passen sich KPI-Karten, Monatsdiagramme und Segmentanalysen in Echtzeit an.

Region	Aktive Kunden	Avg. Kundenwert (€)	Regionaler Umsatz (€)	Rang
Baden-Württemberg (Stuttgart/Heilbronn)	4.820	1.450,20	6.989.964,00 €	1
Bayern (München/Nürnberg)	4.110	1.380,50	5.673.855,00 €	2
Nordrhein-Westfalen (Köln/Düsseldorf)	3.940	1.290,00	5.082.600,00 €	3
Hessen (Frankfurt am Main)	2.850	1.520,10	4.332.285,00 €	4
Hamburg / Nord	1.920	1.310,40	2.515.968,00 €	5

1. Bronze Layer (Raw Ingestion)

Landing Zone & Delta Append

Unveränderte Rohdaten aus Kafka, S3/Blob, CSV und PostgreSQL. Audit-Spalten hinzugefügt.

● 0 Zeilen erfasst (Bereit)

2. Silver Layer (Cleansed & Conformed)

Dedupliziert & Typ-Validiert

Null-Werte behandelt, Datumsformate harmonisiert, Duplikate nach Primärschlüssel bereinigt.

● 0 Zeilen validiert (Bereit)

3. Gold Layer (Business Aggregates)

Business Intelligence Data Marts

Sternschema (Star Schema), Fakten- & Dimensionstabellen für Power BI, Tableau und Reporting.

● 0 Data Marts (Bereit)

Begriff (Deutsch)	Term (English)	Technische Erklärung / Erläuterung	Relevanz im Unternehmen
Idempotente Pipeline	Idempotent Pipeline	Eine Pipeline, die bei mehrfacher Ausführung mit denselben Eingangsdaten exakt dasselbe Ergebnis liefert, ohne Duplikate zu erzeugen.	Kritisch für Fehlerbehebung & automatisches Wiederanlaufen (Retries).
Langsam veränderliche Dimensionen (SCD Typ 2)	Slowly Changing Dimensions (SCD2)	Historisierung von Dimensionsdaten mit Gültigkeitszeiträumen (valid_from, valid_to, is_current), um historische Stände exakt abzubilden.	Standard in Enterprise Data Warehouses (Rechtssichere Historie).
Sternschema & Schneeflockenschema	Star Schema & Snowflake Schema	Optimiertes Datenmodell für Analysen mit zentralen Faktentabellen (Metriken) und verknüpften Dimensionstabellen.	Erhöht Abfragegeschwindigkeit in Power BI, Tableau und DuckDB drastisch.
Schema-Drift	Schema Drift	Unerwartete Änderungen in Quellstrukturen (neue/entfernte Spalten oder veränderte Datentypen) im Zeitverlauf.	Automatische Schema-Evolution in Delta Lake verhindert Pipeline-Abstürze.
Spaltenorientierte Speicherung	Columnar Storage (Parquet)	Daten werden spaltenweise statt zeilenweise gespeichert, wodurch analytische Abfragen (SUM, AVG) bis zu 100x schneller laufen.	Grundlage von DuckDB, Databricks Delta Lake und BigQuery.

Gesamtprüfung (SLA)

Bereit für Validierung

Geprüfte Zeilen

Warten auf Daten-Upload

Gefilterte Anomalien

Keine Prüfung aktiv

Ausführungszeit

Engine bereit

Aktive Qualitätsschranken (Quality Gates):

Prüfregel (Check)	Schicht	Toleranzgrenze	Gemessener Wert	Ergebnis
Null-Value-Check auf Primärschlüssel	Bronze → Silver	0.00%	0.00%	PASSED
ISO-8601 Datumsformat-Harmonisierung	Silver	≤ 0.05%	0.01%	PASSED
Z-Score Ausreißer- & Betrugserkennung	Silver → Gold	≤ 0.20%	0.12%	PASSED
Fremdschlüssel-Integrität (Referential)	Gold Marts	100% Match	100.0%	PASSED

Vektorisierte Pipeline mit Polars (10x schneller als Pandas):

⚡ Status: Bereit. Klicken Sie oben auf "⚡ Benchmark ausführen".

🛡️

ACID-Transaktionen

Garantierte Datenkonsistenz selbst bei gleichzeitigen Batch- und Streaming-Schreibvorgängen.

⏳

Time Travel (Zeitreisen)

Reproduzierbare Audits: Datenstände sekundengenau rekonstruieren mit VERSION AS OF.

🌐

Unity Catalog Governance

Zentrales Berechtigungsmanagement, Data Lineage und Metadaten-Audit über den gesamten Stack.

DataPlatform / Nexus Hub Architecture

Vollständiger Quellcode, automatisierte Tests mit pytest, Docker-Container-Definitionen und GitHub Actions CI/CD-Workflows.

          git clone https://github.com/Alexan974/DataPlatform.git

          cd DataPlatform && pip install -r requirements.txt

          pytest tests/ -v  # 100% Quality & SLA Tests Passed

[Cell 1] DuckDB In-Memory Columnar Scan (Parquet Landing Zone)

⚡ Status: Bereit. Klicke auf '▶ Ausführen', um die Zelle zu starten.

[Cell 2] Databricks & Delta Lake 3.0 Gold Marts (ACID & Time Travel)

⚡ Status: Bereit. Klicke auf '▶ Ausführen', um die Zelle zu starten.

[Cell 3] Data Quality SLA & Quarantine Validation Gate

⚡ Status: Bereit. Klicke auf '▶ Ausführen', um die Zelle zu starten.

Spalten-Profilierung & Semantische Rollen-Klassifikation:

Automatisierte Sternschema DDL (Master Pipeline Generator):