Data Lakehouse

Eine veraltete Datenarchitektur kann zu großen Problemen führen und Ihrem Unternehmen erheblich schaden. Da immer mehr Unternehmen mit einer regelrechten Datenflut konfrontiert werden, hat sich hierbei ein neues Konzept entwickelt, um den ständig wachsenden Anforderungen der Datenverarbeitung gerecht zu werden – dem Data Lakehouse.

Im Grunde genommen handelt es sich bei Data Lakehouse um eine Schnittstelle zwischen Data Lakes und Data Warehouses und bildet somit eine zukunftsweisende Lösung für das Datenmanagement eines jeden Unternehmens. Mithilfe dieses Ansatzes gelingt es Ihnen, sowohl strukturierte, semi-strukturierte als auch unstrukturierte Daten nutzbar aufzubereiten. Doch was ist Data Lakehouse konkret? Welche Vorteile bietet das Konzept? Diese Fragen und noch viel mehr beantworten wir Ihnen hier.

Was ist Data Lakehouse?

Es handelt sich bei Data Lakehouse um einen neueren Ansatz im Datenmanagement. Im Grunde stehen im Hintergrund dieses neuen Ansatzes zwei ältere Begriffe: Data Lake und Data Warehouse.

Das Data Lakehouse vereint diese beiden Konzepte und behebt somit die im Data Lake vorhandene Nachteile durch die Übernahme bestimmter Komponenten aus dem Data Warehouse. Im Endeffekt werden folgende Vorteile miteinander vereint:

• Data Lakes: Flexibilität, Kosteneffizienz und Skalierbarkeit
• Data Warehouses: Einfacher Zugriff, strukturgebundene Prozesse zur Datenanalyse, Unterstützung für Geschäftsanalysen

Sie bekommen mit einer Data Lakehouse Architektur dementsprechend auch das Beste aus zwei Welten. Den Begriff Data Lakehouse hat wesentlich Databricks geprägt durch den Einsatz des Open-Source-Storage-Frameworks Delta Lake. Weiterhin gibt es auch weitere technologische Wettbewerber, wie zum Beispiel Apache Iceberg. Zuletzt angekündigt als Open-Source-Storage-Framework für AWS und S3 zur Nutzung als Data Lakehouse. Oder proprietäre Lösungen, wie Google Cloud BigQuery und Google Cloud Storage bzw. SAP Datasphere mit einem eigenen Object Storage und Apache Spark.

Wie unterscheiden sich Data Lake und Data Warehouse?

Data Lake

• Speicherung von Daten ist kostengünstig
• Aufwendige Datenverarbeitung
• ACID-Transaktionen nicht unterstützt
• Datenwissenschaften und maschinelles Lernen unterstützt
• Geringe Datenqualität
• Datenaufnahme ist flexibel
• Eingeschränkte Datenschutzfunktionen

Data Warehouse

• Speicherung von Daten ist kostenintensiv
• Effizientes Datenverwaltungssystem
• ACID-Transaktionen unterstützt
• Business Intelligence (BI) und SQL-Anwendungen unterstützt
• Hohe Datenqualität
• Geringe Flexibilität und Anpassungsfähigkeit (nur strukturierte Daten berücksichtigt)
• Herausforderung modernen Datenanalysen zu groß

Die wichtigsten Merkmale von Data Lakehouse

Data Lakehouse hat den besonderen Vorteil, dass alle Arten von Datenformaten in dessen Data Lake geladen werden können. Nachdem dies geschehen ist, durchlaufen diese Daten einen ETL-Prozess. Am Ende dieses Prozesses landen die Daten schließlich mit ACID-Compliance in die Governance Layer. Dieser Prozess gelingt Data Lakehouse aufgrund seiner Merkmale, welche sowohl dem Konzept des Data Lakes und Data Warehouses zu entnehmen sind. Folgende Merkmale sind besonders bezeichnend für diesen innovativen Ansatz:

• Die Dateneingabe besteht aus großen strukturierten, semi-strukturierten und unstrukturierten Datenmengen, welche ELT-fähig (Extract, Load, Transform) sind.
• Zur Datenverwaltung werden kostengünstige und skalierbare Objektspeicher wie Azure Data Lake, Gen. 2 (mit Azure Databricks oder Microsoft Fabric), Google Cloud Storage (mit Google Cloud BigQuery) oder AWS S3 (mit Apache Iceberg) genutzt.
• Geeignete Abfrage-Engines müssen über Ad-Hoc-Analysen verfügen.
• Abfragen können auf mehreren Prozessoren verteilt ausgeführt werden, um Antworten zu beschleunigen.
• Verschiedene statistische Techniken sind in der Architektur enthalten. Hierdurch steigt die Lesegeschwindigkeit massiv an, da nicht alle Daten auf einmal gelesen werden müssen.

Data Lakehouse und seine Funktionen

Weder Data Lakes noch Data Warehouses bilden individuell eine ausreichende Datenplattform für moderne Anforderungen an das Datenmanagement. Miteinander vereint bilden sie jedoch vollumfängliche Lösungen, welche durch folgende Funktionen strahlen:

• Kostengünstige Datenspeicherung
• Anpassungsfähig und flexibel
• Automatische Datenverwaltungsarchitektur
• Zugriff auf Tools für Data Analytics und maschinelles Lernen
• Unterstützung strukturierter und unstrukturierter Daten, sowie sämtlicher Dateiformate
• Zeitgleiche Verarbeitung und Erfassung von Daten
• Verwaltung von Daten über ein einziges System
• Offener Quelltext

Was sind die Vorteile von Data Lakehouse

Diese ganzen Eigenschaften und Merkmale von Data Lakehouse sind ja alle schön und gut, doch welche Vorteile bieten sie denn im Detail?

• Offene Speicherformate: Bei Data Lakehouse sind die Speicherformate standardisiert und offen. Zusammen mit einer angebotenen API gelingt es Ihnen anhand einer Vielzahl von Tools und Engines effizient und direkt auf Daten zuzugreifen.
• Business Intelligence (BI): BI-Tools können mithilfe von Lakehouses direkt auf Quelldaten zugreifen. Hierbei wird verhindert, dass die Tools auf veraltete Daten zugreifen, Verzögerungen bei der Verarbeitung entstehen und folglich höhere Kosten anfallen.
• Unterstützung von ACID-Transaktionen: Es kann immer mal passieren, dass mehrere Personen gleichzeitig auf die gleichen Daten zugreifen. In diesem Fall besteht bei Data Lakes in der Regel die Gefahr, dass Daten beschädigt werden. Da Data Lakehouse jedoch die Unterstützung von im Data Warehouse vorhandenen ACID-Transaktionen übernimmt, stellt dies kein Problem mehr dar. Zudem werden Daten bei einem Data Lakehouse permanent aktuell gehalten, indem ein dauerhaftes Streaming und regelmäßiges Batch-Processing erfolgt.
• Unterstützung verschiedener Datentypen: Da der Data Lake flexibel aufgebaut ist, können alle Daten in ihrer Rohform aufgenommen werden. Sowohl strukturierte, semi-strukturierte als auch unstrukturierte Daten werden von Data Lakehouse unterstützt. Dies ermöglicht Ihnen den Zugriff auf eine breite Palette von unterschiedlichen Daten, welche Sie speichern, ändern, verwalten, verfeinern und analysieren können. Sie haben im Endeffekt mithilfe des Data Lakehouse die Möglichkeit mit großen Metadaten zu arbeiten.
• Governance: Data Lakehouses bieten einen sicheren Governance-Rahmen, indem sie einfache Rückschlüsse auf die Datenintegrität ermöglicht.
• Speicherung von Datenverarbeitung entkoppelt: Die Speicherung und Berechnung erfolgen in separaten Clustern, wodurch Systeme für mehr Datenmengen und Nutzer skaliert werden können.
• Geringe Betriebskosten: Neuere Data Lakehouse Systeme sind von der Leistung her vergleichbar oder sogar besser als bewährte Data Lakehouses für SQL, da die gleichen Techniken in deren Engines verwendet werden.
  Aufgrund der separaten und skalierbaren Speicher– und Rechensystemen, werden Kosten minimiert, während die Leistung im Gegenzug maximiert wird. Wie auch beim Data Lake sind die Betriebskosten des Data Lakehouse dementsprechend gering. Sie haben durch die offenen Strukturen keinen Bedarf für andere Anbieter, welche die Daten sonst noch verwalten.
  Zuletzt kann ein Data Lakehouse System auf ermäßigte Preise für Speicher und kostensparende Cloud-Lösungen der Anbieter zurückgreifen. Hingegen sind bewährte Data Warehouse Systeme oftmals nicht hierfür ausgelegt.
• Vorteile für Mitarbeiter: Alle Mitarbeiter, darunter Data Engineers, Data Scientists und Data Analysts, haben Zugriff auf die Datenmengen, welche an einem zentralen Ort gespeichert werden. Dies ermöglicht ihnen auf Daten an einem gemeinsamen Ort zuzugreifen und von diesem aus miteinander zusammenzuarbeiten.

Fazit

Die Struktur Ihrer Daten muss sich weiterentwickeln, wenn Sie den zukünftigen Anforderungen Ihres Unternehmens gerecht werden wollen. Hierfür stellt Data Lakehouse eine bahnbrechende Lösung dar, welche den wachsenden Herausforderungen moderner Datenarchitekturen entgegenkommt.

Data Lakehouse vereint die Vorteile von Data Lakes und Data Warehouses und verspricht Ihnen hierfür nicht nur einen kostengünstigen Datenpool, sondern auch eine effiziente Methode zur Datenerfassung und –Analyse. Somit ist Data Lakehouse eine zukunftsweisende Lösung, welche Ihrem Unternehmen bei der digitalen Transformation unterstützt und dabei hilft, schnelle und datengetriebene Entscheidungen zu treffen.