Die mehrstufige Architektur des modernen LLM-Trainings
Das Training eines modernen großen Sprachmodells (Large Language Model, LLM) ist längst kein einzelner Optimierungslauf mehr, sondern eine Kaskade aufeinander abgestimmter Trainingsphasen mit jeweils eigenen mathematischen Zielfunktionen, Datenanforderungen und Hardwareprofilen.
Den Ausgangspunkt bildet das autoregressive Vortraining (Pretraining), bei dem ein zufällig initialisiertes Netzwerk über Billionen von Tokens aus Webtexten, Programmiercode und Fachliteratur lernt, das jeweils nächste Token vorherzusagen. Darauf baut bei Bedarf das kontinuierliche Vortraining (Continual Pretraining, CPT) auf, das ein Modell an spezialisierte Fachdomänen wie Recht, Medizin oder unterrepräsentierte Sprachen anpasst, ohne seine allgemeinen Fähigkeiten zu zerstören. Das überwachte Fine-Tuning (Supervised Fine-Tuning, SFT) formt diesen rohen Textvervollständiger anschließend in einen Assistenten um, der natürlichsprachlichen Anweisungen folgt. Zum Abschluss kalibrieren Verfahren des Preference Alignment wie RLHF, DPO, IPO, KTO, ORPO und SPIN die Ausgaben anhand menschlicher oder synthetischer Qualitäts-, Sicherheits- und Präferenzurteile.
Dieser Beitrag stellt jede Stufe dieser Pipeline mit ihren Verlustfunktionen, algorithmischen Zusammenhängen und praktischen Vor- und Nachteilen im Detail dar.
Autoregressives Vortraining (Pretraining)
Die Zielfunktion der Next-Token Prediction
Im Vortraining erlernt ein Sprachmodell die statistische, syntaktische und semantische Struktur von Sprache, Quellcode und formaler Logik. Gegeben eine Sequenz von Tokens $x = (x_1, x_2, \dots, x_T)$, lernt ein durch $\theta$ parametrisiertes Modell, an jeder Position $t$ die bedingte Wahrscheinlichkeitsverteilung über das folgende Token $x_t$ anhand des vorangegangenen Kontexts vorherzusagen.
Formal minimiert das Vortraining die erwartete negative Log-Likelihood über einem umfangreichen Textkorpus $\mathcal{D}$:
L_pretrain(θ) = -𝔼_{x∼D} [ Σ_{t=1}^{T} log p_θ(xₜ | x₁, ..., x_{t-1}) ]
An jeder Sequenzposition entspricht dies dem Kreuzentropie-Verlust (Cross-Entropy Loss) zwischen der vom Modell berechneten Softmax-Verteilung über das Vokabular und dem tatsächlichen nächsten Token.
Transformer-Decoder-Architektur und Skalierung
Nahezu alle modernen Sprachmodelle beruhen auf der autoregressiven Transformer-Decoder-Architektur (Vaswani et al., 2017), ergänzt um drei etablierte Weiterentwicklungen:
- Rotary Position Embeddings (RoPE) (Su et al., 2024), die Positionsinformationen durch Rotationsmatrizen direkt in das Skalarprodukt von Query- und Key-Vektoren einbetten, sodass die Attention-Gewichtung nur vom relativen Token-Abstand abhängt und besser auf lange Kontexte generalisiert.
- Grouped-Query Attention (GQA) (Ainslie et al., 2023), bei der mehrere Query-Köpfe jeweils gemeinsame Key- und Value-Projektionen teilen, was den Grafikspeicherbedarf des KV-Caches während der Inferenz erheblich reduziert.
- SwiGLU-Aktivierungen (Shazeer, 2020), die klassische ReLU-Schichten im Feed-Forward-Netzwerk durch Gated Linear Units mit Swish-Aktivierung ersetzen und bei gleicher Parameterzahl eine höhere Ausdruckskraft bieten.
Während GPT-3 (Brown et al., 2020) noch mit 175 Milliarden Parametern arbeitete, reicht Llama 3 (Meta AI, 2024) als dichtes Modell bis zu 405 Milliarden Parametern, während spärlich aktivierte Mixture-of-Experts-Systeme (MoE) die Grenze von einer Billion Gesamtparametern überschreiten. Das Training solcher Modelle erfordert Tausende vernetzte Beschleuniger unter 3D-Parallelismus (Datenparallelismus mit ZeRO-Sharding, Tensor-Parallelismus innerhalb einzelner Rechenknoten und Pipeline-Parallelismus über Knotengrenzen hinweg).
Datenmischung und Chinchilla-Skalierungsgesetze
Aktuelle Vortrainingsläufe verarbeiten zwischen 1 und 15 Billionen Tokens aus deduplizierten Web-Archiven (Common Crawl, FineWeb), Quellcode-Sammlungen (GitHub, The Stack), Büchern, wissenschaftlichen Preprints (arXiv, PubMed) sowie gezielt erzeugten synthetischen Fachtexten. Dabei wirkt sich ein hoher Anteil an Programmiercode und mathematischen Ableitungen nachweislich positiv auf das logische Schlussfolgern (Reasoning) auch in rein sprachlichen Aufgaben aus.
Die Chinchilla-Skalierungsgesetze (Hoffmann et al., 2022) zeigten, dass für ein festes Trainings-Rechenbudget die Parameterzahl $N$ und die Menge der Trainings-Tokens $D$ annähernd proportional skaliert werden sollten ($D \approx 20 N$). In der heutigen Praxis werden kompaktere Modelle (etwa mit 7 bis 14 Milliarden Parametern) jedoch bewusst weit über den Chinchilla-Punkt hinaus auf 10 bis 15 Billionen Tokens „übertrainiert", damit im späteren Produktivbetrieb ein kleines, schnell und kostengünstig ausführbares Modell maximale Qualität liefert.
Optimierung und Eigenschaften des Basismodells
Als Optimierer dient beim Vortraining fast durchgängig AdamW (Loshchilov & Hutter, 2019) mit entkoppeltem Weight Decay, $\beta_1 = 0{,}9$, $\beta_2 = 0{,}95$, Gradient Clipping bei einer Norm von $1{,}0$ sowie Mixed-Precision-Arithmetik (BF16 oder FP8). Nach einer linearen Warmup-Phase über einige Tausend Schritte sinkt die Lernrate über einen Cosine-Decay- oder Warmup-Stable-Decay-Zeitplan (WSD) ab.
Das Ergebnis dieser ersten Phase ist ein Basismodell (Base Model): Es beherrscht Syntax, Faktenwissen und mehrsprachige Textmuster, verfügt aber noch über keine pragmatische Ausrichtung auf Dialoge. Gibt man ihm eine Frage ein, vervollständigt es den Text ebenso leicht mit weiteren Prüfungsfragen wie mit einer hilfreichen Antwort.
Kontinuierliches und domänenadaptives Vortraining (CPT)
Fachwissen einbringen ohne annotierte Dialogdaten
Das kontinuierliche Vortraining (Continual Pretraining, CPT), oft auch domänenadaptives Vortraining (DAPT) genannt, setzt die selbstüberwachte Next-Token Prediction auf einem Fachkorpus $\mathcal{D}_{\text{domain}}$ fort, dessen Verteilung deutlich vom ursprünglichen Vortrainingsmix abweicht (Ke et al., 2025). Typische Anwendungsfälle sind die Spezialisierung auf nationales Recht, klinische Dokumentation, Finanzberichte oder zuvor schwach vertretene Sprachen.
Da CPT wie das reguläre Vortraining auf reinem Fließtext arbeitet und keine manuell erstellten Frage-Antwort-Paare benötigt, lassen sich große Bestände an Gesetzestexten, Fachbüchern oder internen Unternehmensdokumenten unmittelbar für das Training nutzen.
Strategien gegen katastrophales Vergessen
Die größte Gefahr beim CPT ist das katastrophale Vergessen (Catastrophic Forgetting): Werden die Modellgewichte ausschließlich mit Gradienten aus der neuen Domäne aktualisiert, überschreibt das Netzwerk rasch jene Parameterstrukturen, die für allgemeines Sprachverständnis und logisches Schließen verantwortlich sind. Vier bewährte Gegenmaßnahmen verhindern diesen Leistungsverfall:
- Experience Replay (Datenmischung): Dem Fachkorpus werden durchgehend 5 bis 15 Prozent hochwertiger Allgemein-, Code- und Mathematikdaten aus dem ursprünglichen Vortraining beigemischt (Scialom et al., 2022).
- Abgesenkte Lernrate: Der Trainingslauf startet mit einem kurzen Re-Warmup auf eine deutlich niedrigere Spitzenlernrate (meist 10 bis 30 Prozent der ursprünglichen Vortrainingsrate, etwa $2 \times 10^{-5}$), um starke Gewichtsdrifts zu Beginn zu vermeiden.
- Gewichtsregularisierung: Verfahren wie Elastic Weight Consolidation (EWC) bestrafen Änderungen an Gewichten mit hoher Fisher-Information für allgemeine Aufgaben, werden bei sehr großen Modellen jedoch meist durch einfaches Replay-Mixing ersetzt.
- Adapter-gestütztes CPT: Werden für die Domänenanpassung hochdimensionale LoRA-Adapter zusammen mit den Einbettungs- und Ausgabeschichten trainiert, bleibt das eingefrorene Basismodell vollständig erhalten (Hu et al., 2021).
Wie unter anderem Chen et al. (2025) am Beispiel juristischer Sprachmodelle (mit über 40 Milliarden Tokens deutscher und taiwanesischer Rechtstexte) gezeigt haben, liefert eine Mischung aus 90 Prozent Fachdaten und 10 Prozent Replay-Daten bei reduzierter Lernrate einen deutlichen Wissenszugewinn im Fachgebiet bei minimaler Regression auf allgemeinen Benchmarks wie MMLU.
Überwachtes Fine-Tuning (SFT)
Maskierter Sprachmodell-Verlust auf Instruktionspaaren
Das überwachte Fine-Tuning (Supervised Fine-Tuning, SFT), auch als Instruction Tuning bezeichnet (Wei et al., 2022), formt das Basismodell in einen instruktionsfolgenden Assistenten um. Auf einem Datensatz $\mathcal{D}_{\text{SFT}} = {(x_i, y_i)}$ aus Eingabe-Prompts $x_i$ und gewünschten Zielantworten $y_i$ minimiert SFT die bedingte negative Log-Likelihood ausschließlich über den Tokens der Antwort $y$:
L_SFT(θ) = -𝔼_{(x,y)∼D_SFT} [ Σ_{t=1}^{|y|} log p_θ(yₜ | x, y₁, ..., y_{t-1}) ]
Während der Prompt $x$ im Forward-Pass als vollständiger Kontext im Attention-Mechanismus sichtbar bleibt, werden die Prompt-Tokens bei der Verlustberechnung ausmaskiert, sodass Gradienten ausschließlich aus den Antwort-Tokens $y_t$ zurückfließen.
Aufbau von SFT-Datensätzen und Sequence Packing
Im Vergleich zum Vortraining ist SFT außerordentlich dateneffizient: Oft genügen bereits 10.000 bis 100.000 präzise kuratierte Beispiele, um das Format- und Antwortverhalten eines Modells grundlegend zu prägen. Während InstructGPT (Ouyang et al., 2022) noch rund 13.000 von Menschen verfasste Demonstrationen nutzte, kombinieren heutige Trainingsrezepte Experten-Annotationen, synthetische Destillation aus starken Lehrermodellen und automatisiert geprüfte Lösungen (etwa durch Compiler, Unit-Tests oder Mathematik-Solver).
Trainiert wird beim SFT meist über 2 bis 4 Epochen mit Lernraten zwischen $1 \times 10^{-5}$ und $5 \times 10^{-5}$. Um bei stark schwankenden Dialoglängen keine Rechenzeit durch Padding-Tokens zu verschwenden, fügen moderne Trainings-Frameworks mehrere Dialoge zu einer langen Sequenz zusammen (Sequence Packing) und trennen sie über blockdiagonale Attention-Masken sauber voneinander ab.
Warum SFT allein nicht ausreicht
Obwohl ein SFT-Modell bereits flüssig auf Anweisungen reagiert, stößt das reine Maximum-Likelihood-Training auf Demonstrationen an vier strukturelle Grenzen:
- Exposure Bias (Verteilungsdiskrepanz): Im Training erhält das Modell in jedem Schritt die fehlerfreien Referenz-Tokens des Datensatzes als Präfix (Teacher Forcing); im realen Einsatz muss es hingegen auf seinen eigenen, selbst generierten Tokens weiterbauen, wodurch sich kleine Abweichungen aufschaukeln können.
- Sycophancy (Anbiederung): Da Demonstrationsdaten selten fehlerhafte Nutzerannahmen zurückweisen, neigen SFT-Modelle dazu, falschen Prämissen im Prompt höflich zuzustimmen.
- Verbosity Bias (Weitschweifigkeit): Ausführliche, stark abgesicherte Annotationen erziehen das Modell zu unnötig langen Textwänden.
- Fehlendes Negativsignal: Der Kreuzentropie-Verlust erhöht die Wahrscheinlichkeit der exakten Referenzformulierung $y$, vermittelt dem Modell aber keinen Unterschied zwischen einer gleichwertigen Paraphrase und einer sachlich falschen Halluzination.
Reinforcement Learning from Human Feedback (RLHF)
Von Einzelbeispielen zu relativen Präferenzurteilen
Um die Schwächen des reinen Imitationslernens zu überwinden, führten Christiano et al. (2017) und Ouyang et al. (2022) das Reinforcement Learning from Human Feedback (RLHF) ein. Die Grundidee ist ebenso einfach wie wirkungsvoll: Es ist für Menschen (und Prüfmodelle) wesentlich leichter und konsistenter, zwei generierte Antwortkandidaten miteinander zu vergleichen, als selbst eine perfekte Musterlösung zu schreiben. Zudem lernt das Modell durch den Kontrast zwischen guter und schlechter Antwort explizit, welche Fehlermuster es vermeiden muss.
Das Belohnungsmodell nach Bradley-Terry
Im ersten Schritt generiert das SFT-Modell zu einem Prompt $x$ mehrere Antwortkandidaten $(y_1, y_2)$. Annotierende entscheiden, welche Antwort besser ist, woraus ein Präferenzdatensatz $\mathcal{D}_{\text{pref}} = {(x, y_w, y_l)}$ mit einer bevorzugten Antwort $y_w$ (winner) und einer unterlegenen Antwort $y_l$ (loser) entsteht ($y_w \succ y_l$).
Im zweiten Schritt wird darauf ein Belohnungsmodell (Reward Model) $r_\phi(x, y)$ trainiert, das aus dem SFT-Modell initialisiert wird, wobei ein linearer Ausgabekopf anstelle von Vokabular-Logits einen einzelnen skalaren Qualitätswert liefert. Unter dem statistischen Bradley-Terry-Modell für Paarvergleiche (Bradley & Terry, 1952) ergibt sich die Wahrscheinlichkeit, dass $y_w$ gegenüber $y_l$ bevorzugt wird, aus der logistischen Sigmoidfunktion $\sigma$ der Belohnungsdifferenz:
P(y_w ≻ y_l | x) = σ(r_φ(x, y_w) - r_φ(x, y_l))
Die Parameter $\phi$ des Belohnungsmodells werden durch Minimierung der negativen Log-Likelihood über den Präferenzpaaren optimiert:
L_RM(φ) = -𝔼_{(x,y_w,y_l)∼D_pref} [ log σ(r_φ(x, y_w) - r_φ(x, y_l)) ]
Policy-Optimierung mit PPO und KL-Schranke
In der dritten Phase fungiert das Sprachmodell als autoregressive Policy $\pi_\theta(y \mid x)$, die mittels Proximal Policy Optimization (PPO) (Schulman et al., 2017) so angepasst wird, dass sie die erwartete Belohnung $r_\phi(x, y)$ maximiert, ohne sich zu weit vom eingefrorenen Referenzmodell $\pi_{\text{ref}}$ (dem SFT-Modell) zu entfernen:
max_π 𝔼_{x∼D, y∼π(·|x)} [ r_φ(x, y) ] - β · KL(π(·|x) || π_ref(·|x))
Der mit $\beta$ gewichtete KL-Divergenz-Strafterm ist unverzichtbar: Ohne ihn findet die Policy binnen weniger hundert Schritte unnatürliche Token-Kombinationen, die blinde Flecken des Belohnungsmodells ausnutzen (Reward Hacking nach Goodharts Gesetz), und kollabiert in sinnlose, aber hoch bewertete Textmuster.
Obwohl On-Policy-RLHF nach wie vor exzellente Spitzenresultate liefert, ist der technische Aufwand beträchtlich: Vier große Modelle müssen gleichzeitig im verteilten GPU-Speicher gehalten werden (aktive Policy $\pi_\theta$, Referenzmodell $\pi_{\text{ref}}$, Reward-Modell $r_\phi$ und Value-Netzwerk $V_\psi$), das PPO-Training reagiert empfindlich auf Hyperparameter, und das laufende Generieren neuer Antwortstichproben dominiert die Trainingszeit.
Direct Preference Optimization (DPO)
Die geschlossene analytische Form der impliziten Belohnung
Im Jahr 2023 zeigten Rafailov et al., dass sich das KL-beschränkte Optimierungsproblem aus RLHF exakt analytisch auflösen lässt. Dadurch kann das Sprachmodell direkt auf den Präferenzpaaren $(x, y_w, y_l)$ ausgerichtet werden, ohne jemals ein separates Belohnungsmodell zu trainieren oder Reinforcement-Learning-Schleifen auszuführen.
Für jede beliebige Belohnungsfunktion $r(x, y)$ besitzt die eindeutige optimale Policy $\pi^*$, die das Ziel $\mathbb{E}[r(x,y)] - \beta,\text{KL}(\pi \parallel \pi_{\text{ref}})$ maximiert, die geschlossene Boltzmann-Form:
π*(y|x) = (1/Z(x)) · π_ref(y|x) · exp(r(x,y) / β)
wobei $Z(x) = \sum_y \pi_{\text{ref}}(y \mid x)\exp(r(x,y)/\beta)$ die rechnerisch unzugängliche Zustandssumme (Partition Function) über alle denkbaren Antwortsequenzen bezeichnet. Löst man diese Gleichung algebraisch nach der Belohnungsfunktion $r(x, y)$ auf, erhält man:
r(x,y) = β · log(π*(y|x) / π_ref(y|x)) + β · log Z(x)
Setzt man diese Darstellung nun in das Bradley-Terry-Präferenzmodell $P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l))$ ein, fällt die nur vom Prompt $x$ abhängige Zustandssumme $\beta \log Z(x)$ in der Differenz exakt heraus:
P(y_w ≻ y_l | x) = σ( β · log(π*(y_w|x) / π_ref(y_w|x)) - β · log(π*(y_l|x) / π_ref(y_l|x)) )
Damit ist der zentrale Satz von DPO bewiesen.
Die DPO-Verlustfunktion und ihre praktischen Grenzen
Ersetzt man $\pi^*$ durch das zu trainierende Netzwerk $\pi_\theta$, ergibt sich unmittelbar die DPO-Verlustfunktion:
L_DPO(θ) = -𝔼_{(x,y_w,y_l)∼D_pref} [ log σ( β · (log(π_θ(y_w|x) / π_ref(y_w|x)) - log(π_θ(y_l|x) / π_ref(y_l|x))) ) ]
wobei $\log \pi(y \mid x) = \sum_{t=1}^{|y|} \log p(y_t \mid x, y_{<t})$ die Summe der Token-Log-Wahrscheinlichkeiten der Antwort ist. Da das Referenzmodell $\pi_{\text{ref}}$ eingefroren bleibt, lassen sich seine Log-Wahrscheinlichkeiten auf dem Datensatz einmalig vorab berechnen und zwischenspeichern.
Durch seine Stabilität, Einfachheit und geringe Rechenlast hat DPO das klassische PPO-RLHF in weiten Teilen der Open-Weights-Entwicklung abgelöst. Dennoch weist das Verfahren drei bekannte Schwachstellen auf:
- Off-Policy-Verteilungsverschiebung: DPO optimiert auf einem festen Datensatz vorab generierter Antworten, statt wie PPO fortlaufend eigene aktuelle Modellausgaben zu bewerten.
- Margin-Overfitting bei deterministischen Präferenzen: Wird $y_w$ im endlichen Datensatz zu 100 Prozent gegenüber $y_l$ bevorzugt, treibt der Sigmoid-Verlust die Log-Ratio-Differenz gegen unendlich und hebelt die KL-Schranke $\beta$ bei zu langem Training faktisch aus.
- Längenverzerrung (Length Exploitation): Da sich Token-Log-Wahrscheinlichkeiten über die Sequenzlänge summieren, bevorzugt DPO ohne Längennormierung systematisch wortreiche Ausgaben (Park et al., 2024).
Parametereffiziente Adaption und neuere Alignment-Verfahren
LoRA und QLoRA: Feinanpassung mit minimalem Speicherbedarf
Low-Rank Adaptation (LoRA) (Hu et al., 2021) ist ein parametereffizientes Verfahren (PEFT), das sich orthogonal mit CPT, SFT oder DPO kombinieren lässt. Ausgehend von der Beobachtung, dass Gewichtsänderungen beim Fine-Tuning einen niedrigen intrinsischen Rang besitzen, friert LoRA jede vortrainierte Gewichtsmatrix $W_0 \in \mathbb{R}^{d \times k}$ ein und addiert eine Niedrigrang-Zerlegung:
W = W_0 + (α / r) · B · A
mit $A \in \mathbb{R}^{r \times k}$, $B \in \mathbb{R}^{d \times r}$ und einem Rang $r \ll \min(d, k)$ (typischerweise $r \in [8, 64]$). Da die Optimierer-Zustände (Adam-Momente) nur für die kleinen Adaptermatrizen $A$ und $B$ im Speicher gehalten werden müssen, sinkt die Zahl der trainierbaren Parameter um über 99 Prozent. Nach dem Training lässt sich das Produkt $(\alpha/r)BA$ direkt in $W_0$ einrechnen, sodass im Produktivbetrieb keinerlei Zusatzlatenz entsteht.
QLoRA (Dettmers et al., 2023) kombiniert LoRA mit einer 4-Bit-NormalFloat-Quantisierung (NF4) des eingefrorenen Basismodells, doppelter Quantisierung der Skalierungsfaktoren und Paged Optimizers, die kurzzeitige Speicherspitzen bei langen Sequenzen automatisch in den CPU-Arbeitsspeicher auslagern. Während des Backpropagation-Schritts werden die 4-Bit-Gewichte bedarfsweise nach BF16 dequantisiert, um die Gradienten für die LoRA-Adapter zu berechnen. Damit lassen sich selbst Modelle mit 65 oder 70 Milliarden Parametern auf einer einzelnen 48-GB-Workstation-GPU ohne nennenswerten Qualitätsverlust feinabstimmen.
IPO: Identity Preference Optimization
Um das Overfitting von DPO bei deterministischen Präferenzpaaren zu beheben, entwickelten Azar et al. (2023) Identity Preference Optimization (IPO). Statt die implizite Belohnungsdifferenz durch eine nichtlineare Log-Sigmoid-Funktion zu schicken, die unendliche Abstände belohnt, zwingt IPO die Log-Ratio-Differenz über einen quadratischen Verlust auf einen festen endlichen Zielabstand $1/(2\beta)$:
L_IPO(θ) = 𝔼_{(x,y_w,y_l)} [ (h_θ(x,y_w) - h_θ(x,y_l) - 1/(2β))² ]
mit $h_\theta(x, y) = \log(\pi_\theta(y \mid x)/\pi_{\text{ref}}(y \mid x))$. Da der quadratische Term auch zu große Abstände oberhalb von $1/(2\beta)$ bestraft, bleibt die KL-Regularisierung selbst bei rauschfreien Daten wirksam und erlaubt ein Training bis zur vollen Konvergenz.
KTO: Kahneman-Tversky Optimization auf binärem Feedback
Paarweise Präferenzdaten $(x, y_w, y_l)$ für exakt denselben Prompt sind in der Erstellung teuer, während im realen Anwendungsbetrieb ständig ungepaarte binäre Signale anfallen (etwa Daumen-hoch-/Daumen-runter-Bewertungen oder das Kopieren einer hilfreichen Code-Antwort). Kahneman-Tversky Optimization (KTO) (Ethayarajh et al., 2024) überträgt die Prospect Theory aus der Verhaltensökonomie auf das LLM-Alignment und kommt vollständig ohne gepaarte Antworten aus:
L_KTO(θ) = 𝔼_{(x,y)∼D} [ λ_y - v(x, y) ]
wobei die Wertfunktion $v(x, y)$ die implizite Belohnung $r_\theta(x, y)$ relativ zu einem über den Batch geschätzten KL-Referenzpunkt $z_{\text{ref}}$ bewertet und menschliche Verlustaversion über asymmetrische Gewichte $\lambda_D, \lambda_U$ abbildet. KTO erreicht auf gängigen Benchmarks die Qualität von DPO, benötigt dafür aber lediglich einzelnes Gut/Schlecht-Feedback.
ORPO: Monolithisches SFT und Alignment in einem Schritt
Klassische Pipelines müssen zunächst ein SFT-Modell trainieren und anschließend für DPO zwei Kopien dieses Modells ($\pi_\theta$ und $\pi_{\text{ref}}$) in den Speicher laden. Odds Ratio Preference Optimization (ORPO) (Hong et al., 2024) vereint SFT und Präferenztraining in einer einzigen Verlustfunktion ohne separates Referenzmodell:
L_ORPO(θ) = L_SFT(θ; x, y_w) - λ · log σ( log(odds_θ(y_w|x) / odds_θ(y_l|x)) )
wobei $\text{odds}\theta(y \mid x) = \frac{P\theta(y \mid x)}{1 - P_\theta(y \mid x)}$ auf den längennormierten Sequenzwahrscheinlichkeiten beruht. Während der SFT-Term das Modell auf die Domäne und das Antwortformat einstellt, senkt der Odds-Ratio-Term gleichzeitig die Wahrscheinlichkeit unerwünschter Antwortmuster $y_l$ relativ zu $y_w$ ab.
SPIN und RLAIF: Self-Play und synthetische Präferenzen
Zwei weitere Ansätze verringern den Bedarf an menschlicher Datenannotation:
Self-Play Fine-Tuning (SPIN) (Chen et al., 2024) kommt ganz ohne Präferenzdatensatz aus. Ausgehend von einem reinen SFT-Datensatz fungieren in Iteration $t$ die menschlichen SFT-Antworten $y \sim p_{\text{data}}$ als Gewinner und die vom vorherigen Modellstand $\pi_{\theta_{t-1}}$ selbst generierten Antworten $y'$ als Verlierer:
L_SPIN(θ_t) = 𝔼_{(x,y)∼D_SFT, y'∼π_{t-1}(·|x)} [ -log σ( λ · (log(π_θ_t(y|x)/π_{t-1}(y|x)) - log(π_θ_t(y'|x)/π_{t-1}(y'|x))) ) ]
Über mehrere Self-Play-Runden hinweg lernt das Modell, seine eigenen Schwächen gegenüber den menschlichen Demonstrationen auszumerzen, bis sich beide Verteilungen angleichen.
Reinforcement Learning from AI Feedback (RLAIF) (Lee et al., 2023) behält die paarweise Struktur von RLHF oder DPO bei, lässt die Antwortpaare jedoch durch ein starkes Richtermodell (Judge-LLM) anhand expliziter Bewertungsrichtlinien einstufen. Das Verfahren senkt die Annotationskosten drastisch, erfordert aber gezielte Vorkehrungen gegen typische Richter-Verzerrungen wie Positions-Bias, Längen-Bias und die Bevorzugung des eigenen Sprachstils.
Vergleichende Übersicht der Post-Training-Methoden
| Methode | Reward-Modell | Online-RL | Referenzmodell | Datenformat | Hauptstärke | Wichtigste Einschränkung |
|---|---|---|---|---|---|---|
| RLHF (PPO) | Ja | Ja | Ja | Paare $(x, y_w, y_l)$ + Prompts | Aktive On-Policy-Exploration, hohe Spitzenleistung | Hoher Speicherbedarf (4 Modelle) und Rechenaufwand |
| DPO | Nein | Nein | Ja | Paare $(x, y_w, y_l)$ | Einfach, stabil, schnelles Offline-Training | Off-Policy-Shift, Längen-Bias, Margin-Overfitting |
| IPO | Nein | Nein | Ja | Paare $(x, y_w, y_l)$ | Mathematisch begrenzter Zielabstand gegen Overfitting | Weiterhin offline und auf Paare angewiesen |
| KTO | Nein | Nein | Ja | Ungepaart binär $(x, y, \pm 1)$ | Nutzt direktes Daumen-hoch/runter-Feedback | Etwas schwächeres Gradientensignal pro Einzelbeispiel |
| ORPO | Nein | Nein | Nein | Paare $(x, y_w, y_l)$ | Einstufiges SFT + Alignment ohne Referenzmodell | Weniger getrennte Feinabstimmung beider Phasen |
| SPIN | Nein | Nein | Ja (Vorgänger) | Nur SFT-Paare $(x, y)$ | Leistungsgewinn ohne zusätzliche Präferenzdaten | Durch die Qualität des SFT-Datensatzes nach oben begrenzt |
| RLAIF | Optional | Optional | Optional | KI-bewertete Paare $(x, y_w, y_l)$ | Hohe Skalierbarkeit zu geringen Kosten | Übernimmt Verzerrungen und blinde Flecken des Richtermodells |
Fazit und offene Forschungsfragen
Fügt man alle Stufen zusammen, ergibt sich der moderne Bauplan für leistungsfähige Sprachmodelle: Ein nach Skalierungsgesetzen vortrainiertes Basismodell wird nur dann per Replay-gestütztem CPT weitertrainiert, wenn tiefe neue Fach- oder Sprachdomänen erschlossen werden müssen; anschließend folgt ein kompaktes SFT auf geprüften Demonstrationen sowie eine Präferenzkalibrierung mittels DPO, KTO, ORPO oder iterativem Online-RL, wobei LoRA und QLoRA den Hardwarebedarf jeder Nachbehandlungsstufe drastisch senken.
Trotz aller algorithmischen Vereinfachungen bleibt eine fundamentale Herausforderung bestehen: die Verteilungsverschiebung (Distribution Shift) zwischen Trainingsdaten und produktiver Inferenz. Reine Offline-Verfahren wie SFT, DPO, IPO und ORPO optimieren auf statischen Textsammlungen, während das Modell im späteren Dialogbetrieb auf seinen eigenen, sich dynamisch verändernden Ausgaben aufbaut. Die rechnerische Einfachheit direkter Präferenzverluste mit der Robustheit iterativer On-Policy-Exploration zu verbinden, bildet daher das derzeit spannendste Forschungsfeld im Training großer Sprachmodelle.
Comments (0)
Please sign in to leave a comment