Foundation Models

KAPITEL 16 · KI & ENGINEERING

Foundation Models

Die Grundlage moderner KI-Systeme – von der Transformer-Architektur über Pre-Training und Fine-Tuning bis zu RLHF. Verstehen Sie, wie GPT, Llama, Claude und Gemini funktionieren und was sie so leistungsfähig macht.

Transformer Pre-Training Fine-Tuning RLHF GPT / Llama / Claude

Was sind Foundation Models?

Definition

Foundation Models (Grundlagenmodelle) sind große neuronale Netze, die auf enormen Datenmengen vortrainiert werden und anschließend für eine Vielzahl von Aufgaben angepasst (fine-tuned) werden können. Der Begriff wurde 2021 von Forschern der Stanford University geprägt.

Das Besondere an Foundation Models ist ihre Allgemeingültigkeit: Statt für eine einzelne Aufgabe trainiert zu werden, lernen sie während des Pre-Trainings allgemeine Muster aus Text, Code, Bildern oder Audio. Dieses Vorwissen ermöglicht es, das Modell mit vergleichsweise wenig Aufwand für spezifische Anwendungen wie Chatbots, Code-Generierung, Übersetzung oder Bildanalyse einzusetzen.

Beispiele: GPT-4 (OpenAI), Claude (Anthropic), Gemini (Google), Llama (Meta), Mistral, Qwen. Alle basieren auf der Transformer-Architektur und wurden mit Billionen von Tokens vortrainiert.

Warum "Foundation"?

Der Name beschreibt die Rolle dieser Modelle perfekt: Sie bilden das Fundament, auf dem spezialisierte Anwendungen aufgebaut werden. Wie ein Fundament eines Hauses tragen sie die Last und ermöglichen verschiedene "Aufbauten" – vom einfachen Chatbot bis zum komplexen KI-Agenten.

Kernkonzepte verstehen

Foundation Models basieren auf mehreren Schlüsselkonzepten, die zusammen ihre außergewöhnlichen Fähigkeiten ermöglichen.

Transformer-Architektur

Das Rückgrat aller modernen LLMs

Eingeführt 2017 von Google ("Attention Is All You Need"). Ersetzte RNNs/LSTMs und ermöglichte paralleles Training.

  • Self-Attention-Mechanismus
  • Parallele Verarbeitung (kein sequentielles RNN)
  • Encoder-Decoder oder Decoder-only
  • Positional Encoding für Reihenfolge

Pre-Training

Lernen aus riesigen Datenmengen

Das Modell lernt allgemeine Sprachmuster durch Next-Token-Prediction auf Billionen von Tokens.

  • Next-Token-Prediction (autoregressiv)
  • Masked Language Modeling (BERT-Stil)
  • Daten: Web, Bücher, Code, Wikipedia
  • Kosten: Millionen von Dollar

Fine-Tuning

Anpassung an spezifische Aufgaben

Nach dem Pre-Training wird das Modell mit kleineren, aufgabenspezifischen Datensätzen angepasst.

  • Supervised Fine-Tuning (SFT)
  • Instruction Tuning
  • LoRA / QLoRA (effizient)
  • Deutlich günstiger als Pre-Training

RLHF

Reinforcement Learning from Human Feedback

Menschliches Feedback wird genutzt, um das Modell sicherer, hilfsbereiter und ehrlicher zu machen.

  • Reward Model trainieren
  • PPO-Optimierung
  • Alignment mit menschlichen Werten
  • Reduziert schädliche Ausgaben

Emergente Fähigkeiten

Fähigkeiten, die erst bei Größe entstehen

Ab einer bestimmten Modellgröße treten plötzlich neue Fähigkeiten auf, die nicht explizit trainiert wurden.

  • Chain-of-Thought Reasoning
  • In-Context Learning
  • Few-Shot / Zero-Shot Learning
  • Nicht vorhersehbar, skalenabhängig

Scaling Laws

Größer = besser (meistens)

Die Leistung skaliert vorhersagbar mit Modellgröße, Datenmenge und Rechenleistung (Chinchilla-Gesetze).

  • Mehr Parameter → bessere Performance
  • Mehr Daten → besseres Verständnis
  • Optimal: Balanced Scaling
  • Diminishing Returns ab bestimmter Größe

Die Trainings-Pipeline

Von rohen Daten bis zum einsatzbereiten Modell durchläuft ein Foundation Model mehrere Stufen.

Vom Datensatz zum Chatbot

1
Datensammlung

Web-Crawling, Bücher, Code-Repos, Wikipedia. Oft > 10 Billionen Tokens.

2
Datenbereinigung

Deduplizierung, Qualitätsfilter, PII-Entfernung, Tokenisierung.

3
Pre-Training

Next-Token-Prediction auf Tausenden GPUs. Wochen bis Monate. Kosten: $10M+.

4
SFT

Supervised Fine-Tuning mit Instruktions-Daten. Macht das Modell gesprächsbereit.

5
RLHF / DPO

Alignment mit menschlichem Feedback. Sicherheit, Hilfreichkeit, Ehrlichkeit.

6
Evaluation

Benchmarks (MMLU, HumanEval), Red-Teaming, Sicherheits-Tests.

Zeitaufwand & Kosten

  • Pre-Training (70B Parameter): ~2-4 Wochen auf 1.000× A100 GPUs, Kosten: $2-5 Mio.
  • SFT: Stunden bis Tage auf wenigen GPUs, Kosten: $1.000-$10.000
  • RLHF: Tage bis Wochen, benötigt menschliche Annotatoren
  • Inferenz-Optimierung: Quantisierung, Distillation, Speculative Decoding

Wichtige Foundation Models im Vergleich

Die Landschaft der Foundation Models entwickelt sich rasant. Hier ein Überblick über die wichtigsten Modelle.

GPT-4o / o1

OpenAI
  • Parameter: ~1.8T (MoE, geschätzt)
  • Kontext: 128K Tokens
  • Multimodal: Text, Bild, Audio, Video
  • Release: 2024
  • Besonderheit: Reasoning-Modus (o1)
Closed Source Multimodal Code

Claude 3.5 Sonnet

Anthropic
  • Parameter: Unbekannt
  • Kontext: 200K Tokens
  • Multimodal: Text, Bild
  • Release: 2024
  • Besonderheit: Constitutional AI, Safety
Closed Source Multimodal Code

Gemini 1.5 Pro

Google DeepMind
  • Parameter: MoE-Architektur
  • Kontext: 1M+ Tokens
  • Multimodal: Text, Bild, Audio, Video
  • Release: 2024
  • Besonderheit: Längster Kontext
Closed Source Multimodal

Llama 3.1 405B

Meta
  • Parameter: 405 Mrd.
  • Kontext: 128K Tokens
  • Multimodal: Text (Bilder in Planung)
  • Release: 2024
  • Besonderheit: Bestes Open-Weight-Modell
Open Weights Code

Mistral Large 2

Mistral AI (Frankreich)
  • Parameter: 123 Mrd.
  • Kontext: 128K Tokens
  • Multimodal: Text
  • Release: 2024
  • Besonderheit: Europäisches Top-Modell
Open Weights Code

Qwen2.5 72B

Alibaba Cloud
  • Parameter: 72 Mrd.
  • Kontext: 128K Tokens
  • Multimodal: Text, Bild, Code
  • Release: 2024
  • Besonderheit: Stark bei Code & Mathe
Open Weights Multimodal Code
Modell Hersteller Open Source Kontext Multimodal Stärke
GPT-4o / o1 OpenAI Nein 128K Ja Allrounder, Reasoning
Claude 3.5 Sonnet Anthropic Nein 200K Text + Bild Safety, Coding, Analyse
Gemini 1.5 Pro Google Nein 1M+ Ja Langer Kontext, Multimodal
Llama 3.1 405B Meta Weights offen 128K Text Bestes Open-Weight
Mistral Large 2 Mistral AI Weights offen 128K Text Europäisch, effizient
Qwen2.5 72B Alibaba Weights offen 128K Ja Code, Mathematik

FAQ – Häufige Fragen & Antworten

Häufige Fragen zu Foundation Models

Was ist der Unterschied zwischen einem Foundation Model und einem normalen neuronalen Netz?

Ein normales neuronales Netz wird typischerweise für eine einzelne Aufgabe trainiert (z.B. Bildklassifizierung). Ein Foundation Model hingegen:

  • Wird auf riesigen, diversen Datenmengen vortrainiert (nicht aufgabenspezifisch)
  • Ist viel größer (Milliarden bis Billionen Parameter)
  • Kann für viele verschiedene Aufgaben angepasst werden (Transfer Learning)
  • Zeigt emergente Fähigkeiten, die nicht explizit trainiert wurden
  • Dient als Grundlage für spezialisierte Anwendungen
Warum sind Foundation Models so teuer im Training?

Die Kosten ergeben sich aus drei Faktoren:

  • Rechenleistung: Tausende GPUs/TPUs wochenlang unter Volllast. GPT-4 kostete schätzungsweise $100M+ an Compute.
  • Daten: Beschaffung, Bereinigung und Lizenzierung von Billionen Tokens ist aufwendig und teuer.
  • Personal: Teams von hunderten ML-Ingenieuren, Forschern und Annotatoren.

Fine-Tuning ist dagegen deutlich günstiger ($1.000-$100.000), da das teure Pre-Training bereits erledigt ist.

Was bedeutet "Open Source" vs. "Open Weights" bei LLMs?

Bei Foundation Models gibt es wichtige Unterschiede:

  • Closed Source: Nur API-Zugang (GPT-4, Claude). Kein Zugriff auf Gewichte oder Architektur-Details.
  • Open Weights: Modellgewichte werden veröffentlicht (Llama, Mistral), aber Trainingsdaten und -code oft nicht. Man kann das Modell nutzen und fine-tunen, aber nicht vollständig reproduzieren.
  • True Open Source: Gewichte + Trainingscode + Daten + Dokumentation sind offen (z.B. OLMo, Pythia). Vollständig reproduzierbar.

Die meisten "Open-Source-LLMs" sind eigentlich nur Open Weights. True Open Source ist selten.

Was ist RLHF und warum ist es wichtig?

RLHF (Reinforcement Learning from Human Feedback) ist eine Technik, um Foundation Models an menschliche Werte anzupassen:

  1. SFT: Modell lernt aus Beispiel-Dialogen (Instruktionen + Antworten)
  2. Reward Model: Menschen bewerten Modell-Antworten → Reward Model lernt Präferenzen
  3. PPO-Optimierung: Modell wird optimiert, um hohe Reward-Scores zu erzielen

Warum wichtig? Ohne RLHF wären LLMs zwar sprachfähig, aber oft unhöflich, unsicher oder unzuverlässig. RLHF macht sie hilfsbereit, ehrlich und harmlos (HHH-Prinzip).

Kann ich ein Foundation Model selbst trainieren?

Pre-Training: Für Einzelpersonen praktisch unmöglich. Benötigt tausende GPUs und Millionen von Dollar.

Fine-Tuning: Ja, absolut machbar! Mit Open-Weight-Modellen wie Llama oder Mistral können Sie:

  • Full Fine-Tuning: Alle Parameter anpassen (teuer, beste Ergebnisse)
  • LoRA / QLoRA: Nur kleine Adapter-Matrizen trainieren (günstig, sehr effektiv)
  • Prompt Engineering: Keine Training nötig, nur bessere Prompts

Für die meisten Anwendungsfälle reicht Fine-Tuning mit LoRA auf einer einzelnen GPU.

Was sind "Halluzinationen" und wie werden sie reduziert?

Halluzinationen sind plausible, aber falsche Aussagen, die das Modell selbstbewusst generiert. Ursachen:

  • Modell sagt den wahrscheinlichsten nächsten Token voraus, nicht unbedingt den richtigen
  • Fehlendes Faktenwissen oder veraltete Informationen
  • Übermäßiges Vertrauen in eigene Ausgaben

Gegenmaßnahmen:

  • RAG (Retrieval Augmented Generation): Externe Wissensquellen einbinden
  • Grounding: Antworten mit Quellen belegen
  • RLHF: Modell lernt, Unsicherheit auszudrücken
  • Fact-Checking: Automatische oder manuelle Überprüfung
  • Chain-of-Thought: Schritt-für-Schritt-Reasoning reduziert Fehler
Welches Foundation Model sollte ich für mein Projekt wählen?

Die Wahl hängt von Ihren Anforderungen ab:

  • Beste Overall-Performance: GPT-4o, Claude 3.5 Sonnet
  • Langer Kontext (Dokumente): Gemini 1.5 Pro (1M+ Tokens)
  • Open Source / Self-Hosting: Llama 3.1, Mistral, Qwen2.5
  • Coding: Claude 3.5 Sonnet, GPT-4o, Qwen2.5-Coder
  • Budget / API-Kosten: GPT-4o-mini, Claude Haiku, Llama via Together/Fireworks
  • Datenschutz / On-Premise: Llama, Mistral (lokal betreibbar)
  • Multimodal: GPT-4o, Gemini, Claude (Vision)

Tipp: Testen Sie immer mehrere Modelle mit Ihren eigenen Daten. Benchmarks sagen nicht alles aus.

Wie entwickeln sich Foundation Models in der Zukunft?

Aktuelle Trends und Prognosen:

  • Multimodalität: Alle Modalitäten (Text, Bild, Audio, Video, 3D) in einem Modell
  • Längere Kontexte: Millionen von Tokens werden Standard
  • Agenten: Modelle, die Tools nutzen, planen und autonom handeln
  • Effizienz: Kleinere Modelle mit besserer Performance (Distillation, MoE)
  • Spezialisierung: Domain-spezifische Modelle (Medizin, Recht, Finanzen)
  • On-Device: LLMs auf Smartphones und Laptops (Quantized Models)
  • Reasoning: Bessere logische Schlussfolgerungen (Chain-of-Thought, Tree-of-Thought)

Zusammenfassung

Die wichtigsten Punkte

  • Foundation Models sind große, vortrainierte Modelle, die als Grundlage für viele KI-Anwendungen dienen
  • Transformer-Architektur (2017) ist das Rückgrat aller modernen LLMs
  • Pre-Training auf Billionen von Tokens lernt allgemeine Sprachmuster
  • Fine-Tuning passt das Modell an spezifische Aufgaben an (SFT, LoRA)
  • RLHF aligniert das Modell mit menschlichen Werten (hilfsbereit, ehrlich, sicher)
  • Emergente Fähigkeiten treten erst ab bestimmter Modellgröße auf
  • Wichtige Modelle: GPT-4o, Claude, Gemini, Llama, Mistral, Qwen
  • Open Weights ≠ Open Source: Meist nur Gewichte offen, nicht Daten/Code
  • Halluzinationen bleiben eine Herausforderung → RAG, Grounding, Fact-Checking
  • Zukunft: Multimodal, längere Kontexte, Agenten, Effizienz, On-Device

Nächste Schritte

Jetzt, wo Sie die Grundlagen von Foundation Models verstehen, können Sie tiefer in spezifische Themen eintauchen:

Prompt Engineering RAG KI-Agenten MLOps KI-Sicherheit

Weiterführende Themen

LLM-Grundlagen

Tokenisierung, Attention-Mechanismus, Inferenz und mehr technische Details.

Zu LLM-Grundlagen
Prompt Engineering

Techniken für bessere Ergebnisse: Chain-of-Thought, Few-Shot, System Prompts.

Zum Prompt Engineering
RAG

Retrieval Augmented Generation – externe Wissensquellen für weniger Halluzinationen.

Zu RAG
KI-Sicherheit

Red-Teaming, Jailbreaks, Bias-Erkennung und sichere Deployment-Strategien.

Zur KI-Sicherheit