Von Daten zu Entscheidungen:
Die Thommen Group stand Mitte 2023 vor einer wichtigen Entscheidung. Die bestehende BI-Plattform genügte den wachsenden Anforderungen nicht mehr und sollte modernisiert werden. Power BI wurde als künftige Analyseplattform evaluiert und anhand eines POC zusammen mit Allgeier (Schweiz) AG erzielte die Thommen Group schnell erste Erfolge im Bereich Self-Service BI.
Jedoch brachte der Wechsel zu Power BI einige Herausforderungen mit sich. Über mehr als fünf Jahre hinweg wurde ein DWH aufgebaut, das stark verschachtelt war und bis dato die Daten für die BI Analysen lieferte. Zudem konnten Erweiterungen oder Anpassungen nur vom Dienstleister vorgenommen werden.
Bereits seit vielen Jahren setzt die Thommen Group auf Microsoft Technologien. Ob mit SQL-Server für Datawarehousing oder Office und Teams für Kollaboration. Deswegen boten sich zwei Optionen für das Upgrade an: Ein modernes Cloud DWH basierend auf Synapse Analytics mit Power BI für Reporting oder eine All-in-One Lösung mit dem brandneuen Microsoft Fabric, welches als DIE neue Datenplattform enthüllt worden war und Microsofts Vision einer modernen und AI-unterstützen Self-Service Business Intelligence Lösung entsprach.
Mit Sinn für Innovation und Investition in die Zukunft entschied sich die Thommen Group, das neue DWH und BI Portal auf Fabric aufzubauen.
Fabric: Das Multifunktionstool für Datenmanagement
Fabric ist ein Schweizer Taschenmesser für Daten. Es hat alles, um eine Datenplattform mit Self-Service BI Lösung aufzubauen: Pipelines und Dataflows, um Daten zusammenzuziehen; Lakehouse und Warehouse Konstrukte, um die Daten effizient zu speichern; Python Notebooks, um Transformationen auszuführen und Machine-Learning anzuwenden; Power BI für Semantische Modelle, Reports und Dashboards, um Daten zu visualisieren und analysieren; Event Streams, KQL Datenbanken und Data Activator, um mit Live Daten zu arbeiten und auf Trigger Events zu reagieren. Power BI sollte den Analyse-Layer liefern. Offen blieben Fragen im ETL-Bereich (Pipelines vs. Dataflows, Warehouse vs. Lakehouse) sowie der Medaillenarchitektur.
Hier ist die Architektur, welche wir für die Thommen Group aufgebaut haben:
Von Bronze zu Silber: Ein neues Kapitel in den Metadaten getriebenen Pipelines
Diese Architektur basiert sehr stark auf der Metadaten-getriebenen Fabric Medaillen Architektur von Jean Hayes bei Microsoft: https://techcommunity.microsoft.com/t5/fasttrack-for-azure/metadata-driven-pipelines-for-microsoft-fabric/ba-p/3891651
Der Ansatz von Jean war, sämtliche Abfragen, die es braucht, um Daten aus der Quelle zu beziehen und zu transformieren, zentral über eine SQL-Datenbank zu steuern (Orchestrierung). Bei 200+ Tabellen im Quellsystem und 130+ Abfragen, um den Bronze-Layer zu füttern, machte dieser Ansatz von vorneherein den grössten Sinn. Dieser Metadaten getriebene Ansatz ist vielleicht nicht neu, doch Jean hat es in ihrem Blog optimal für Fabric adaptiert. So konnten wir sehr schnell ihre Vorlage für unsere Zwecke anwenden und in nur wenigen Tagen den Bronze-Layer mit Daten befüllen.
Da Fabric weiterhin nur im Preview-Modus verfügbar war, konnte nicht alles von Beginn weg wie gewünscht umgesetzt werden. Quellsysteme konnten nicht direkt über Pipelines angezogen werden, da die on-premise Unterstützung noch fehlte. Dataflows, welche via Data Gateway on-premise Daten anziehen können, sind noch manuell und unterstützen den Metadaten getriebenen Ansatz nicht. Damit wir die Quelle anziehen konnten, wurde sie mit einer Azure SQL Datenbank repliziert. Einige der Vorteile davon waren, dass die Daten nun in Echtzeit für andere Anwendungsfälle/Apps verfügbar waren, die Daten aus dem ERP benötigten. Der Import konnte unabhängig stattfinden, da das Replica die eigentliche Quelle von unseren Import-Anfragen abschirmte. Damit stand die Architektur des Bronze-Layers.
Silber Layer: Kernstück der Daten-Transformation
Der Silber Layer brachte neue Herausforderungen: das alte DWH hatte knapp 600 SQL-Abfragen und dutzende SSIS-Schritte benötigt, um sich jede Nacht zu befüllen. Fabric unterstützt mit dem Warehouse Objekt klassische SQL-Ansätze. Somit konnten wir die meisten SQL-Scripts in die neue Welt migrieren. Jeans Vorlage hat auch hier, bis auf ein paar Ausnahmen, super gepasst: Delta Tabellen unterstützen kein Unicode/NVARCHAR sowie Umlaute in den Spalten- oder Tabellennamen. Auch hat man bei Fabric nicht unbegrenzt viele CPU-Zyklen zur Verfügung. Viele der alten Abfragen wurden nie für Performance optimiert, daher fallen in der Cloud sehr schnell hohe Kosten an. Somit mussten einige Abfragen umgeschrieben werden, um nicht unnötig Ressourcen zu vergeuden.
Viele SQL-Abfragen mussten miteinander orchestriert werden, um die finalen sternförmigen DWH-Tabellen zu erstellen. Um sicherzugehen, dass auch wirklich alle neuen Tabellen mit dem bisherigen DWH übereinstimmen, haben wir die alten Prozesse parallel laufen lassen und das Resultat in Fabric mit dem Original verglichen. Wenn beide Tabellen gleich viele Zeilen hatten, dieselben Datentypen vorweisen konnten, und die Zeilen den gleichen Inhalt hatten, dann konnten wir belegen, dass die neue Logik mit der alten vergleichbar war. Ein eigens erstellter Datenqualitätsreport hat uns geholfen, alle Tabellen schrittweise zu stabilisieren und Diskrepanzen in Fabric zu beseitigen.
Livedatenströme – ein Gamechanger
Während dem Aufbau des neuen DWHs, bekamen wir noch die Aufgabe einen Report mit Echtzeitdaten aus Jira aufzubauen. Hier konnte Fabric so richtig glänzen.
Innerhalb weniger Stunden bauten wir den Datenimport auf ein Azure Event Hub, der via WebHook mit Live-Daten versorgt wird. Der Event Hub schreibt die Daten wiederum in eine KQL-Datenbank, die via Window-Functions die aktuellen Datensätze zusammenfasst und in einem Direct-Query PowerBI Report anzeigt, der sich alle 3s aktualisiert. Die Anwender waren begeistert, konnten sie nun ihre Transporte in Echtzeit nachverfolgen und ihren Kunden aktuelle Angaben machen.
Empowerment durch Self-Service BI
Eines der grössten Ziele blieb die alte BI-Plattform nicht komplett zu übernehmen, sondern wir sollten den Fachbereichen ermöglichen, eigene Analysen via Self-Service Analytics erstellen zu können.
Da die eingebauten Semantischen Modelle mit Direct-Lake Funktionalität noch nicht stabil waren, mussten wir auf klassische semantische Modelle mit Import-Modus ausweichen, um die benötigte Funktionalität zu ermöglichen. Auch half dies bei der Versionierung und Release bzw. Rollback Planung, da die Direct-Lake Modelle immer noch nicht (Stand Dez 2023) Git-kompatibel waren.
Darüber hinaus konnten wir mehrere kleinere Modelle für verschiedene Self-Service Gruppen bereitstellen. Diese separaten Modelle haben eine limitierte Anzahl Tabellen verfügbar, um einfacher damit arbeiten zu können und weitere Sicherheitsmassnahmen einzuführen wie eine eingeschränkte Sicht auf Daten im DWH.
Duck Tape DevOps, kreative Lösungen im Einsatz
Eine der grössten Hürden, um eine stabile produktive Umgebung bereitzustellen, war der Mangel an DevOps Unterstützung. Wir waren es von Synapse gewohnt alle Anpassungen sauber in spezifischen Feature-Branches zu entwickeln und diese via Azure DevOps von Dev nach Test und Produktion zu laden. Leider unterstützte Fabric zu Beginn nur beschränkt Azure DevOps Prozesse um zum Beispiel Pipelines, Lakehouse und Warehouse Anpassungen von einer Umgebung in die andere zu kopieren. Stand Juni 2024 unterstützen die meisten Komponenten in Fabric jedoch einen Git-basierten Prozess, den man für DevOps-Zwecke verwenden kann. Soweit kompatibel, dass wir einen Branch-basierten Rolloutplan nutzen konnten. Änderungen werden von Dev Workspaces per Git in ein Azure DevOps Repository geladen. Von dort werden Pull Request benutzt, um einen Release zu planen. Dieser wird dann anhand eines Release-Branch auf Test und Prod eingespielt. Über wenige Powershell Skripte wird sichergestellt, dass die Verknüpfungen und Verweise in Test und Produktion richtig funktionieren. Tools wie Azure Data Studio und Power BI Projects kommen auch zum Zug, um die Entwicklung von Erweiterungen einfacher zu koordinieren.
Wir haben den Reporting Layer und DWH-Layer voneinander in einzelne Workspaces getrennt. Nicht nur weil dies von einer Fabric Capacity Planung der beste Weg ist, sondern auch um die DevOps Prozesse zu vereinfachen. Wir erwarten einen viel schnelleren DevOps Zyklus im Bereich PowerBI als im Bereich DWH. Hierfür eignen sich die eingebauten Deployment Pipelines in PowerBI/Fabric bestens!
Gen2 Dataflows sind Stand Juni 2024 immer noch nicht Git oder DevOps kompatibel. Auf der Roadmap ist in diese Richtung auch noch nichts ersichtlich. Da Fabric Pipelines mittlerweile den Data-Gateway unterstützen, sind wir kaum noch auf Dataflows angewiesen.
Fabric: Eine Technologie im Aufschwung
Ende 2023 hatten wir den Data-Layer vom Projekt grösstenteils abgeschlossen und durften bei der Azure User Group in Zürich dieses grosse Fabric DWH Projekt vorstellen. Dort bekamen wir die ultimative Frage gestellt: War Fabric die richtige Entscheidung? Die Antwort ist und bleibt: JA. Zwar ist Fabric noch lange nicht ausgereift, doch die Vision steht und die Zukunft liegt ganz klar in dieser Technologie, die alle Data-Disziplinen in einer SaaS Plattform vereint.
Jeden Monat wurden Features hinzugefügt und so Workarounds hinfällig, um uns näher an das Ziel zu bringen. Die Möglichkeiten, mit Livedaten zu arbeiten und alle Daten in einen einheitlichen Topf (OneLake) zu bringen, eine zentrale Sicherheits- und Governance-Schicht aufzubauen und nicht nur Self-Service BI, sondern auch Self-Service Data und Data Products auf allen Ebenen zu ermöglichen, macht Fabric zur ultimativen Datendrehscheibe, um Firmen den Weg zur datengetriebenen Organisation zu ebnen.
Go Live
Im Juni 2024 konnten wir dann nicht nur die DWH-Komponente, sondern auch die BI Komponente gemeinsam mit der Thommen Group abschliessen. Die Mitarbeiter wurden in der Anwendung der neuen BI Lösung geschult und die gruppenweite Einführung Go-Live fand im Juli statt.
Über Thommen Group
Die Thommen Group ist eines der führenden europäischen Recyclingunternehmen mit Wurzeln in der Schweiz. Mit den drei starken Marken Thommen, Metallum und Immark bietet sie für Industrie, Gewerbe und Kommunen Recycling-Komplettlösungen. Mit 27 Standorten in fünf Ländern ist die Thommen Group weltweit vernetzt und ein wichtiges Bindeglied in der Kreislaufwirtschaft. Als Produzent von hochwertigen Recyclingrohstoffen schafft und schont sie Ressourcen. Mehr unter: www.thommengroup.com
