An Themen wie Data Analytics oder (de-)zentraler Datenhaltung kommt heute kein Unternehmen mehr vorbei. Doch während die globalen Player ihre geradezu Unmengen an Daten kanalisieren und ordnen müssen, haben kleine und mittlere Unternehmen (KMUs) eher eine überschaubare Datenlage. Zu wenig für eine effektive Datenanalyse? Ganz und gar nicht!
Sie erinnern sich doch noch: Data Lakehouse ist ein modernes Datenmanagement, das Kosteneffizienz und Flexibilität (Data Lake) mit strukturierten und schnellen Abfragen (Data Warehouse) vereint. Mit der heute beginnenden Reihe zeigen wir Ihnen, wie schnell und unkompliziert auch Sie Data Lakehouse in Ihrem Unternehmen implementieren können. Den Start macht ein Beispiel mit unserem «Light»-Ansatz. Denn auch ohne eine umfassende Datenbasis lässt sich ganz hervorragend von den Vorteilen eines Data Lakehouse profitieren. Wir zeigen Ihnen wie!
Die meisten Unternehmen arbeiten bereits mit Kassen- oder Transaktionssystemen wie ERP. Deren Analysemöglichkeiten sind in der Regel jedoch sehr begrenzt. Auf der anderen Seite scheuen viele den Einsatz von Analyse-Tools mit hohem Funktionsumfang, wie etwa Power BI, das schnelle Einsichten in Geschäftsprozesse ermöglicht. Denn die Bereitstellung der benötigten Daten kann durchaus herausfordernd sein: Alle Informationen müssen erst gesammelt, gespeichert, aufbereitet und auf ihre Qualität geprüft werden.
Traditionelle Datenbanklösungen können allerdings schnell komplex werden. Sie erfordern spezielle ETL-Ansätze, Skripte, Programmierung und Datenbankspezialisten. Ausserdem müssen moderne Anwendungen zunehmend mit No-SQL Technologien umgehen können: Daten werden nicht mehr nur in Datenbanken gespeichert, sondern auch als Textdateien im JSON-Format und gestreamt.
Von einer modernen Datenplattform kann man heute erwarten, dass sie sowohl strukturierte als auch unstrukturierte Datenformate verarbeitet und das ohne langwierige Prozesse. Denn weder können noch wollen Unternehmen monatelang auf die Beantwortung brennender Fragen warten. Da bietet Data Lakehouse als hybrides Datenmanagement-System die Lösung. Daten lassen sich aus verschiedenen Quellen zusammenführen und aufbereiten – auch schlechte oder unzureichende Datenqualität wird im Zuge dessen bewältigt.
Und das Beste daran: In der Data Lakehouse Light-Version funktioniert die Einrichtung einer modernen Datenarchitektur schnell, unkompliziert und auch ohne grosse Daten-Ressourcen bereits in nur wenigen Wochen.
In einem konkreten Fall bat uns ein Kunde, innerhalb von nur vier Wochen Umsatzberichte aus einem brandneuen Kassensystem zu generieren, das täglich Verkaufstransaktionen aus insgesamt 28 verschiedenen Filialen im JSON-Format erzeugte. Aufgrund der Dringlichkeit bot sich eine «Data Lakehouse Light» Architektur an. Zuerst wurde innerhalb kürzester Zeit ein Data Lake aufgebaut, das die JSON-Dateien im Rohformat aufnahm und so aufbereitete, dass sie in einem logischen Data-Layer abrufbar waren. Anschliessend konnten die Daten in einen Power BI Datamart geladen und für Reporting-Zwecke bereitgestellt werden. Power BI Berichte auf Basis der nun vorliegenden Daten zu erstellen war schliesslich ganz einfach. Das Team konnte dadurch innerhalb kürzester Zeit seine Umsatzstatistiken auf dem neuen Kassensystem aufbauen.
Die traditionelle Medaillen-Architektur (Bronze, Silber, Gold) kam hier nicht zum Einsatz. Stattdessen konnten wir dank Synapse Analytics sehr schnell einen semantischen Layer auf den JSON-Dateien aufbauen. Beim so genannten «Data Lakehouse Light» Ansatz steht eine semantische Sicht auf semi-strukturierten Daten im Vordergrund und man kann diese Daten schnell für Analysezwecke nutzen.
Dieses Praxisbeispiel zeigt ein mögliches Einsatzszenario eines «Data Lakehouse Light». Haben Unternehmen jedoch höhere Anforderungen an die Datenanalyse (z.B. Historisierung der Daten, Time Travel, Master Data Management, Data Mesh etc.), stösst dieser Ansatz bald an seine Grenzen. Um komplexere Projekte umsetzen zu können, ist ein Enterprise-ready Ansatz notwendig, der so genannte «Data Lakehouse Pro». Diesen werden wir in einem der kommenden Blogbeiträge vorstellen.
Wenn Sie selbst unter Anleitung ein Data Lakehouse aufsetzen möchten, empfehlen wir Ihnen unseren Workshop «Creating a Data Lakehouse», den mein Kollege Nicolas Rehder und ich am 22.06.2023 im Rahmen der «IEEE Swiss Conference on Data Science» (SDS2023) in Zürich halten. Weitere Informationen dazu finden Sie hier.
Wer steckt eigentlich hinter Allgeier? Marina verstärkt bei Allgeier seit Juli 2023 das Finanzteam. Im Interview erfahren wir mehr über ihre beruflichen Herausforderungen, worauf es in ihrem Job ankommt und wo man sie in ihrer Freizeit findet.
Ausgestattet mit modernster KI-Technologie, bietet die Plattform eine optimierte Verwaltung und Analyse digitaler Inhalte.
Kann AR die Produktion revolutionieren? Wo liegen mögliche Einsatzfelder und konkrete Vorteile? Im vierten Blog der Smart Maintenance Reihe werfen wir einen Blick in die Zukunft.
Smart Maintenance ist kein Trend, sondern eine Notwendigkeit, um wettbewerbsfähig zu bleiben. Doch welche Phasen durchläuft die Implementierung einer intelligenten Wartung?
Dass Smart Maintenance nicht nur für die Industrie relevant ist, zeigte der Vortrag von Mirko Maurer bei der maintenance Schweiz. Was Resilienz damit zu tun hat, erfahren Sie hier.
KI goes Microsoft 365: Was der intelligente Assistent Copilot kann und wie er die Zusammenarbeit auf neue Beine stellt.
Smarte Technologien, wertvolle Daten und vernetzte Mitarbeiter: Von der Herausforderung Smart Maintenance zu implementieren und wie man sie bewältigt. Alles im aktuellen Blog!
Vernetzt, automatisiert und mit Echtzeit-Daten gespickt – das sind die Kennzeichen von Industrie 4.0. Doch welche Rolle spielt Smart Maintenance dabei konkret? Wie kann es zur Effizienzsteigerung und Kostenreduktion führen – das verraten wir im neuen Blogbeitrag.
Zwischen Flexibilität und Festungsanlage: Wie Unternehmen in der modernen Arbeitswelt Sicherheit gewährleisten können. Ein Expertengespräch mit Christian Dunkel über Secure Workplace.
Cookie | Dauer | Beschreibung |
---|---|---|
__hssc | 30 minutes | HubSpot sets this cookie to keep track of sessions and to determine if HubSpot should increment the session number and timestamps in the __hstc cookie. |
__hssrc | session | This cookie is set by Hubspot whenever it changes the session cookie. The __hssrc cookie set to 1 indicates that the user has restarted the browser, and if the cookie does not exist, it is assumed to be a new session. |
_GRECAPTCHA | 5 months 27 days | Google Recaptcha service sets this cookie to identify bots to protect the website against malicious spam attacks. |
cookielawinfo-checkbox-advertisement | 1 year | Set by the GDPR Cookie Consent plugin, this cookie records the user consent for the cookies in the "Advertisement" category. |
cookielawinfo-checkbox-analytics | 1 year | Set by the GDPR Cookie Consent plugin, this cookie records the user consent for the cookies in the "Analytics" category. |
cookielawinfo-checkbox-functional | 1 year | The GDPR Cookie Consent plugin sets the cookie to record the user consent for the cookies in the category "Functional". |
cookielawinfo-checkbox-necessary | 1 year | Set by the GDPR Cookie Consent plugin, this cookie records the user consent for the cookies in the "Necessary" category. |
cookielawinfo-checkbox-others | 1 year | Set by the GDPR Cookie Consent plugin, this cookie stores user consent for cookies in the category "Others". |
cookielawinfo-checkbox-performance | 1 year | Set by the GDPR Cookie Consent plugin, this cookie stores the user consent for cookies in the category "Performance". |
CookieLawInfoConsent | 1 year | CookieYes sets this cookie to record the default button state of the corresponding category and the status of CCPA. It works only in coordination with the primary cookie. |
elementor | never | The website's WordPress theme uses this cookie. It allows the website owner to implement or change the website's content in real-time. |
Cookie | Dauer | Beschreibung |
---|---|---|
cookietest | session | Description is currently not available. |
Cookie | Dauer | Beschreibung |
---|---|---|
test_cookie | 15 minutes | doubleclick.net sets this cookie to determine if the user's browser supports cookies. |
VISITOR_INFO1_LIVE | 5 months 27 days | YouTube sets this cookie to measure bandwidth, determining whether the user gets the new or old player interface. |
YSC | session | Youtube sets this cookie to track the views of embedded videos on Youtube pages. |
yt.innertube::nextId | never | YouTube sets this cookie to register a unique ID to store data on what videos from YouTube the user has seen. |
yt.innertube::requests | never | YouTube sets this cookie to register a unique ID to store data on what videos from YouTube the user has seen. |
Cookie | Dauer | Beschreibung |
---|---|---|
__hstc | 5 months 27 days | Hubspot set this main cookie for tracking visitors. It contains the domain, initial timestamp (first visit), last timestamp (last visit), current timestamp (this visit), and session number (increments for each subsequent session). |
_ga | 1 year 1 month 4 days | Google Analytics sets this cookie to calculate visitor, session and campaign data and track site usage for the site's analytics report. The cookie stores information anonymously and assigns a randomly generated number to recognise unique visitors. |
_gat_UA-* | 1 minute | Google Analytics sets this cookie for user behaviour tracking.n |
_gcl_au | 3 months | Google Tag Manager sets the cookie to experiment advertisement efficiency of websites using their services. |
_gid | 1 day | Google Analytics sets this cookie to store information on how visitors use a website while also creating an analytics report of the website's performance. Some of the collected data includes the number of visitors, their source, and the pages they visit anonymously. |
CONSENT | 2 years | YouTube sets this cookie via embedded YouTube videos and registers anonymous statistical data. |
hubspotutk | 5 months 27 days | HubSpot sets this cookie to keep track of the visitors to the website. This cookie is passed to HubSpot on form submission and used when deduplicating contacts. |
Cookie | Dauer | Beschreibung |
---|---|---|
__cf_bm | 30 minutes | Cloudflare set the cookie to support Cloudflare Bot Management. |