Big Data

KAPITEL 06 · DATENBANKEN

Big Data

Die 5 Vs, Hadoop, Spark, Kafka und moderne Datenarchitekturen – verstehen Sie, wie Unternehmen riesige Datenmengen verarbeiten, analysieren und in wertvolle Erkenntnisse verwandeln.

Die 5 Vs Hadoop & Spark Streaming Machine Learning

Inhaltsverzeichnis

Schnellübersicht

Auf dieser Seite lernen Sie alles über Big Data:

  • Definition: Was ist Big Data und warum ist es wichtig?
  • Die 5 Vs: Volume, Velocity, Variety, Veracity, Value
  • Technologien: Hadoop, Spark, Kafka, NoSQL, Cloud
  • Architekturen: Lambda, Kappa und moderne Data Pipelines
  • Use Cases: Praxisbeispiele aus verschiedenen Branchen
  • Best Practices: Empfehlungen für erfolgreiche Big-Data-Projekte
  • FAQ: Häufige Fragen und Antworten

1. Was ist Big Data?

Definition

Big Data bezeichnet extrem große und komplexe Datenmengen, die mit traditionellen Datenverarbeitungssystemen nicht mehr effizient verarbeitet, gespeichert oder analysiert werden können. Es umfasst nicht nur die Daten selbst, sondern auch die Technologien, Methoden und Architekturen, die benötigt werden, um aus diesen Daten wertvolle Erkenntnisse zu gewinnen.

Typische Big-Data-Szenarien entstehen durch Social Media (Milliarden von Posts und Interaktionen), IoT-Geräte (Sensordaten von Millionen Geräten), E-Commerce (Transaktionen und Klickstreams) und wissenschaftliche Forschung (Genomik, Astronomie, Klimaforschung).

Warum ist Big Data wichtig? Unternehmen, die Big Data effektiv nutzen, können bessere Entscheidungen treffen, Kundenverhalten vorhersagen, Prozesse optimieren und neue Geschäftsmodelle entwickeln. Beispiele: Netflix empfiehlt Filme basierend auf Viewing-Patterns, Amazon optimiert Lagerbestände durch Vorhersagemodelle, Uber berechnet dynamische Preise durch Echtzeit-Analysen.

Big Data vs. traditionelle Datenbanken

Traditionelle relationale Datenbanken (SQL) sind ideal für strukturierte Daten mit klarem Schema. Big-Data-Technologien werden benötigt, wenn:

  • Datenmenge: Terabyte bis Petabyte statt Gigabyte
  • Geschwindigkeit: Millionen von Events pro Sekunde statt Batch-Verarbeitung
  • Vielfalt: Strukturierte, semi-strukturierte und unstrukturierte Daten
  • Skalierung: Horizontale Skalierung über hunderte Server statt vertikale Skalierung

2. Die 5 Vs von Big Data

Big Data wird oft durch die "5 Vs" charakterisiert – fünf Dimensionen, die die Herausforderungen und Chancen beschreiben.

Volume

Die Datenmenge

Big Data bedeutet riesige Datenmengen – von Terabyte bis Exabyte. Traditionelle Systeme können diese Mengen nicht mehr bewältigen.

  • Facebook: 4 Milliarden Posts pro Tag
  • YouTube: 500 Stunden Video pro Minute
  • Twitter: 500 Millionen Tweets pro Tag
  • IoT: Milliarden von Sensordatenpunkten

Velocity

Die Geschwindigkeit

Daten werden in Echtzeit generiert und müssen oft sofort verarbeitet werden. Streaming-Daten erfordern niedrige Latenz.

  • Finanzmärkte: Millionen Trades pro Sekunde
  • E-Commerce: Klickstreams in Echtzeit
  • IoT: Sensordaten im Millisekunden-Takt
  • Social Media: Posts und Likes live

Variety

Die Vielfalt

Big Data umfasst strukturierte, semi-strukturierte und unstrukturierte Daten aus verschiedenen Quellen.

  • Strukturiert: Tabellen, Datenbanken
  • Semi-strukturiert: JSON, XML, Logs
  • Unstrukturiert: Texte, Bilder, Videos
  • Multi-Modal: Kombination aller Typen

Veracity

Die Wahrhaftigkeit

Datenqualität und Zuverlässigkeit sind kritisch. Fehlerhafte oder unvollständige Daten führen zu falschen Erkenntnissen.

  • Datenbereinigung und Validierung
  • Erkennung von Ausreißern
  • Konsistenzprüfung
  • Quellenbewertung und Trust Scores

Value

Der Wert

Das ultimative Ziel: Aus Daten wertvolle Erkenntnisse und geschäftlichen Nutzen generieren. ROI muss messbar sein.

  • Predictive Analytics
  • Personalisierung und Empfehlungen
  • Betrugserkennung
  • Prozessoptimierung

3. Big Data in Zahlen

Die schiere Menge an Daten, die heute generiert wird, ist beeindruckend:

Globale Datenmengen (2024)

120 ZB
Daten weltweit pro Jahr
333 Mrd.
E-Mails pro Tag
500 Std.
Video-Uploads pro Minute
8,5 Mrd.
Google-Suchen pro Tag
5 Mrd.
Mobilgeräte weltweit
15 Mrd.
IoT-Geräte verbunden

Datenwachstum

Die globale Datenmenge verdoppelt sich alle 2 Jahre. Bis 2025 wird erwartet, dass weltweit 175 Zettabyte (1 ZB = 1 Billion GB) an Daten generiert werden. Zum Vergleich: Wenn Sie 1 ZB auf DVDs speichern wollten, bräuchten Sie einen Stapel, der 10x zum Mond und zurück reicht.

4. Big-Data-Technologien

Das Big-Data-Ökosystem umfasst zahlreiche spezialisierte Technologien für verschiedene Aufgaben:

Apache Hadoop

Verteilte Batch-Verarbeitung

Das Urgestein der Big-Data-Welt. Hadoop ermöglicht verteilte Speicherung und Verarbeitung riesiger Datenmengen über hunderte Server.

  • HDFS (Hadoop Distributed File System)
  • MapReduce für Batch-Jobs
  • YARN für Ressourcen-Management
  • Hive, Pig für SQL-ähnliche Abfragen
Typische Anwendung: Historische Datenanalyse, ETL-Prozesse, Data Warehousing

Apache Spark

In-Memory Processing

100x schneller als Hadoop MapReduce durch In-Memory-Verarbeitung. Unterstützt Batch, Streaming, ML und Graph-Processing.

  • Spark SQL für strukturierte Daten
  • Spark Streaming für Echtzeit
  • MLlib für Machine Learning
  • GraphX für Graph-Analysen
Typische Anwendung: Echtzeit-Analysen, ML-Pipelines, iterative Algorithmen

Apache Kafka

Event Streaming Platform

Hochperformante Event-Streaming-Plattform für Echtzeit-Datenpipelines. Verarbeitet Millionen Events pro Sekunde.

  • Publish-Subscribe Messaging
  • Event Sourcing und CQRS
  • Kafka Streams für Processing
  • Kafka Connect für Integration
Typische Anwendung: Event-Driven Architecture, Log-Aggregation, Real-Time Analytics

NoSQL-Datenbanken

Schema-flexible Speicherung

Nicht-relationale Datenbanken für verschiedene Big-Data-Szenarien: Dokument, Key-Value, Column-Family, Graph.

  • MongoDB (Dokumentenorientiert)
  • Cassandra (Column-Family)
  • Redis (Key-Value, In-Memory)
  • Neo4j (Graph-Datenbank)
Typische Anwendung: Flexible Schemas, horizontale Skalierung, spezielle Zugriffsmuster

Cloud Big Data Services

Managed Services

Cloud-Provider bieten vollständig verwaltete Big-Data-Services ohne Infrastruktur-Overhead.

  • AWS: EMR, Redshift, Kinesis
  • Azure: HDInsight, Synapse, Event Hubs
  • Google Cloud: BigQuery, Dataflow, Pub/Sub
  • Snowflake, Databricks (Cloud-native)
Typische Anwendung: Schnelle Time-to-Market, elastische Skalierung, Pay-per-Use

Machine Learning

KI und Predictive Analytics

ML-Frameworks und Plattformen für Training und Deployment von Modellen auf großen Datenmengen.

  • TensorFlow, PyTorch (Deep Learning)
  • Scikit-learn (klassisches ML)
  • MLflow (Model Lifecycle)
  • Kubeflow (ML auf Kubernetes)
Typische Anwendung: Vorhersagemodelle, NLP, Computer Vision, Empfehlungssysteme

5. Big-Data-Architekturen

Moderne Big-Data-Systeme folgen bestimmten Architekturmustern, um Daten effizient zu verarbeiten:

Typische Big-Data-Pipeline

Eine vollständige Big-Data-Architektur umfasst mehrere Schichten:

Data Ingestion

Erfassung aus verschiedenen Quellen (APIs, Logs, IoT, DBs)

Data Processing

Bereinigung, Transformation, Anreicherung (Spark, Flink)

Data Storage

Speicherung in Data Lakes, Warehouses (S3, HDFS, Snowflake)

Analytics & ML

Analysen, Machine Learning, Statistiken (Spark ML, TensorFlow)

Visualization

Dashboards, Reports, BI-Tools (Tableau, Power BI, Grafana)

Action & Feedback

Automatisierte Aktionen, A/B-Tests, Feedback-Loops

Lambda vs. Kappa Architektur

Lambda-Architektur: Kombiniert Batch- und Stream-Processing. Batch-Layer für historische Genauigkeit, Speed-Layer für Echtzeit-Ergebnisse. Komplex, aber robust.

Kappa-Architektur: Nur Stream-Processing. Alle Daten als Stream behandeln. Einfacher, aber erfordert ausgereifte Streaming-Technologien (Kafka, Flink).

Empfehlung: Starten Sie mit Kappa, wenn Ihre Use Cases Streaming-freundlich sind. Lambda nur, wenn Sie komplexe Batch-Analysen benötigen.

6. Big Data Use Cases

Big Data wird in praktisch jeder Branche eingesetzt. Hier die wichtigsten Anwendungsfälle:

E-Commerce & Retail

Personalisierte Empfehlungen, dynamische Preise, Lageroptimierung, Betrugserkennung.

Beispiel: Amazon analysiert Milliarden von Klicks und Käufen, um "Kunden, die X kauften, kauften auch Y" zu generieren.

Finanzwesen

Algorithmischer Handel, Risikomanagement, Kreditwürdigkeit, Geldwäsche-Erkennung.

Beispiel: Banken analysieren Millionen von Transaktionen in Echtzeit, um verdächtige Aktivitäten zu erkennen.

Gesundheitswesen

Prädiktive Diagnostik, personalisierte Medizin, Epidemie-Überwachung, Genomik.

Beispiel: KI-Modelle analysieren medizinische Bilder, um Krebs früher zu erkennen als menschliche Ärzte.

Produktion & Industrie

Predictive Maintenance, Qualitätssicherung, Lieferkettenoptimierung, IoT-Analysen.

Beispiel: Sensoren an Maschinen erkennen Anzeichen für Ausfälle, bevor sie auftreten.

IoT & Smart Cities

Verkehrsfluss-Optimierung, Energie-Management, Umwelt-Monitoring, Smart Grids.

Beispiel: Smart Cities analysieren Verkehrsdaten, um Ampelschaltungen in Echtzeit zu optimieren.

7. Best Practices für Big-Data-Projekte

Erfolgreiche Big-Data-Strategien

  • Start Small: Beginnen Sie mit einem konkreten Use Case, nicht mit "wir sammeln alles"
  • Value-Driven: Definieren Sie klare Geschäftswerte und KPIs vor der Technologie-Auswahl
  • Data Quality First: Schlechte Daten führen zu schlechten Erkenntnissen – investieren Sie in Data Governance
  • Cloud-Native: Nutzen Sie Cloud-Services für elastische Skalierung und Pay-per-Use
  • Modern Stack: Bevorzugen Sie Spark, Kafka und Cloud-DWHs gegenüber legacy Hadoop
  • Data Mesh: Dezentralisieren Sie Datenverantwortung in Domänen statt zentraler Data Teams
  • ML-Ops: Automatisieren Sie ML-Pipelines von Training bis Deployment
  • Security & Privacy: DSGVO-Compliance, Verschlüsselung, Access Control von Anfang an

Häufige Fehler vermeiden

  • Data Swamp: Data Lakes ohne Governance werden zu unbrauchbaren "Data Swamps"
  • Over-Engineering: Nicht für Petabyte-Systeme designen, wenn Sie nur Terabyte haben
  • Silo-Denken: Daten müssen übergreifend nutzbar sein, nicht in Abteilungen versteckt
  • Fehlende Skills: Big Data erfordert Data Engineers, Data Scientists und ML Engineers
  • Kein ROI-Tracking: Messen Sie den geschäftlichen Wert, nicht nur technische Metriken

8. FAQ – Häufige Fragen & Antworten

Häufige Fragen zu Big Data

Ab wann spricht man von "Big Data"?

Es gibt keine feste Grenze, aber typischerweise spricht man von Big Data, wenn:

  • Volume: Datenmengen im Terabyte- bis Petabyte-Bereich
  • Velocity: Daten müssen in Echtzeit oder Near-Real-Time verarbeitet werden
  • Variety: Mix aus strukturierten, semi-strukturierten und unstrukturierten Daten
  • Traditionelle Systeme (SQL-Datenbanken) an ihre Grenzen stoßen

Ein praktischer Richtwert: Wenn Sie mehr als 1 TB Daten haben oder Streaming-Verarbeitung benötigen, sollten Sie Big-Data-Technologien in Betracht ziehen.

Was ist der Unterschied zwischen Hadoop und Spark?

Hadoop:

  • Batch-orientiert (MapReduce)
  • Schreibt nach jeder Operation auf Disk (HDFS)
  • Langsamer, aber bewährt
  • Ideal für historische Batch-Analysen

Spark:

  • In-Memory Processing (bis zu 100x schneller)
  • Unterstützt Batch, Streaming, ML, Graphs
  • Modernere API (Scala, Python, SQL)
  • Ideal für iterative Algorithmen und Echtzeit

Empfehlung: Spark ist heute der De-facto-Standard. Hadoop wird oft nur noch für HDFS (Storage) verwendet.

Was ist ein Data Lake vs. Data Warehouse?

Data Lake:

  • Speichert Rohdaten in jedem Format (strukturiert, unstrukturiert)
  • Schema-on-Read (Schema wird bei der Analyse definiert)
  • Kostengünstig (S3, HDFS, Azure Blob)
  • Ideal für Exploration und ML

Data Warehouse:

  • Speichert strukturierte, bereinigte Daten
  • Schema-on-Write (Schema ist vordefiniert)
  • Optimiert für SQL-Abfragen und BI
  • Ideal für Reporting und Analysen

Modernes Pattern: Lakehouse-Architektur (z.B. Databricks Delta Lake) kombiniert beide Ansätze.

Wann sollte ich Kafka verwenden?

Kafka ist ideal für:

  • Event Streaming: Millionen Events pro Sekunde verarbeiten
  • Event-Driven Architecture: Microservices über Events kommunizieren lassen
  • Log Aggregation: Zentrale Sammlung von Logs aus vielen Systemen
  • Real-Time Analytics: Live-Dashboards und Alerts
  • Data Pipelines: ETL/ELT in Echtzeit

Nicht ideal für: Batch-only Workloads, kleine Datenmengen, wenn Sie nur eine Message Queue brauchen (dafür RabbitMQ oder Redis).

Wie starte ich ein Big-Data-Projekt?

Ein strukturierter Ansatz:

  1. Use Case definieren: Welches Geschäftsproblem lösen Sie? (z.B. "Churn Prediction")
  2. Datenquellen identifizieren: Woher kommen die Daten? (DBs, APIs, Logs)
  3. Technologie-Stack wählen: Cloud (AWS/Azure/GCP) oder On-Premise?
  4. Proof of Concept: Kleines Pilotprojekt mit echten Daten
  5. Pipeline aufbauen: Ingestion → Processing → Storage → Analytics
  6. Visualisierung: Dashboards für Stakeholder
  7. Monitoring: Datenqualität und Performance überwachen
  8. Iterieren: Basierend auf Feedback verbessern

Wichtig: Starten Sie klein, messen Sie den ROI, skalieren Sie dann.

Was kostet Big Data?

Die Kosten hängen stark vom Use Case ab:

  • Cloud Storage: S3/GCS ~$0.023/GB/Monat (100 TB = ~$2.300/Monat)
  • Compute: Spark Cluster ~$0.50-2.00/Stunde je nach Größe
  • Data Warehouse: Snowflake/BigQuery ~$0.02/GB abgefragte Daten
  • Streaming: Kafka ~$0.05/GB verarbeitet

Personalkosten: Data Engineers ($120-180k), Data Scientists ($130-200k), ML Engineers ($140-220k)

Tipp: Cloud ermöglicht Pay-per-Use – starten Sie klein und skalieren Sie bei Bedarf.

Welche Skills brauche ich für Big Data?

Data Engineer:

  • SQL (fortgeschritten)
  • Python oder Scala
  • Spark, Kafka, Airflow
  • Cloud-Services (AWS/Azure/GCP)
  • Data Modeling und ETL

Data Scientist:

  • Statistik und Mathematik
  • Python (Pandas, Scikit-learn)
  • Machine Learning
  • Data Visualization
  • Domain Knowledge

ML Engineer:

  • Deep Learning (TensorFlow, PyTorch)
  • MLOps und Model Deployment
  • Kubernetes, Docker
  • Software Engineering
Wie gehe ich mit DSGVO und Datenschutz um?

Datenschutz ist bei Big Data kritisch:

  • Rechtsgrundlage: Jede Datenverarbeitung braucht eine legale Basis (Einwilligung, Vertrag, berechtigtes Interesse)
  • Datenminimierung: Nur sammeln, was wirklich nötig ist
  • Anonymisierung: Personenbeziehbare Daten entfernen oder pseudonymisieren
  • Verschlüsselung: Daten at-rest und in-transit verschlüsseln
  • Access Control: Strenges Berechtigungskonzept (RBAC)
  • Audit Logging: Wer hat wann auf welche Daten zugegriffen?
  • Data Retention: Automatische Löschung nach Ablauf der Aufbewahrungsfrist
  • DPIA: Datenschutz-Folgenabschätzung für risikoreiche Verarbeitungen

Tipp: Binden Sie Ihren Datenschutzbeauftragten früh ein und dokumentieren Sie alles.

Zusammenfassung

Die wichtigsten Punkte

  • Big Data: Riesige, komplexe Datenmengen, die traditionelle Systeme überfordern
  • Die 5 Vs: Volume (Menge), Velocity (Geschwindigkeit), Variety (Vielfalt), Veracity (Qualität), Value (Wert)
  • Technologien: Hadoop (Batch), Spark (In-Memory), Kafka (Streaming), NoSQL, Cloud-Services
  • Architekturen: Lambda (Batch + Stream), Kappa (nur Stream), Lakehouse (modern)
  • Use Cases: E-Commerce, Finance, Healthcare, Manufacturing, Social Media, IoT
  • Best Practices: Start small, value-driven, cloud-native, data quality first
  • Skills: Data Engineer, Data Scientist, ML Engineer
  • DSGVO: Datenschutz von Anfang an mitdenken

Nächste Schritte

Big Data ist ein weites Feld. Hier einige Empfehlungen für den Einstieg:

  1. Grundlagen lernen: SQL, Python, Statistik
  2. Cloud-Platform wählen: AWS, Azure oder GCP – alle haben Free Tiers
  3. Erstes Projekt: Kleines Use Case mit echten Daten (z.B. Kaggle Dataset)
  4. Spark lernen: Der De-facto-Standard für Big Data Processing
  5. Streaming verstehen: Kafka für Event-Driven Architecture
  6. ML ausprobieren: Scikit-learn für klassisches ML, TensorFlow für Deep Learning

Weiterführende Kapitel

SQL-Datenbanken

Relationale Datenbanken, SQL-Queries, Normalisierung und Performance-Optimierung.

Zu SQL-Datenbanken
NoSQL-Datenbanken

MongoDB, Cassandra, Redis – Schema-flexible Datenbanken für verschiedene Use Cases.

Zu NoSQL-Datenbanken
Datenbank-Optimierung

Indizes, Query-Optimierung, Caching und Performance-Tuning für Datenbanken.

Zur Datenbank-Optimierung
Replikation & Sharding

Datenverteilung, Replikation, Sharding und Hochverfügbarkeit für Datenbanken.

Zu Replikation & Sharding