Fine-Tuning ist die Praxis, ein bereits vortrainiertes Modell — typischerweise ein Foundation-Modell wie ein LLM oder ein Bildmodell — durch zusätzliches Training auf einer aufgabenspezifischen oder domänenspezifischen Datenmenge anzupassen. Statt ein Modell von Grund auf neu zu trainieren (was Millionen oder Milliarden an GPU-Stunden kosten kann), übernimmt Fine-Tuning die bereits gelernten Repräsentationen und justiert sie gezielt nach. Klassisches Full Fine-Tuning aktualisiert alle Parameter; Parameter-Efficient Fine-Tuning (PEFT) — insbesondere LoRA, QLoRA, Adapters und Prefix-Tuning — passt nur einen kleinen Bruchteil der Parameter an.
Eingesetzt wird Fine-Tuning, wenn Ergebnisse aus reinen Prompts oder RAG-Pipelines nicht ausreichen — etwa für sehr spezifisches Format-Verhalten, hochspezialisierte Domänen (Medizin, Recht, Engineering), für stilistische Konsistenz, für Klassifikationsaufgaben mit klaren Labelmengen oder zur Reduktion von Latenz und Inferenzkosten gegenüber sehr großen Modellen. Plattformen wie OpenAI, Azure OpenAI Service, Anthropic (Claude), Cohere und Google bieten verwaltetes Fine-Tuning; im Open-Source-Bereich sind PEFT-Bibliotheken (Hugging Face PEFT, axolotl, Unsloth) sowie Plattformen wie Modal, Together AI oder Fireworks AI gebräuchlich.
Pretraining ist nur einer Handvoll Akteure ökonomisch zugänglich; Fine-Tuning erlaubt es, von einem starken Basis-Modell ausgehend mit überschaubarem Datensatz (zwischen Hunderten und einigen zehntausend Beispielen) signifikante Verhaltensänderungen zu erzielen. Gleichzeitig bringt Fine-Tuning Risiken: Catastrophic Forgetting (Verlust der allgemeinen Fähigkeiten), Overfitting auf kleine Datensätze, neue Bias-Effekte und höhere Wartungskosten gegenüber rein promptbasierten Lösungen.
Historisch wurde Fine-Tuning als Konzept im Computer-Vision-Umfeld populär, als Modelle wie ImageNet-trainierte CNNs auf andere Bilddomänen übertragen wurden (Transfer Learning, ab etwa 2014). Mit BERT (2018) und der Praxis "Pretrain and Fine-Tune" wurde Fine-Tuning auch in NLP zum dominanten Workflow. Die LoRA-Methode (Hu et al., Microsoft Research, 2021) hat parameter-effizientes Fine-Tuning praktisch zugänglich gemacht; QLoRA (Dettmers et al., 2023) erlaubt Fine-Tuning großer Modelle auf Consumer-GPUs durch Quantisierung. Mit Instruction-Tuning (FLAN, T0, Alpaca) und RLHF (InstructGPT, ChatGPT) sind Fine-Tuning-Verfahren entstanden, die Modelle gezielt auf hilfreiches und sicheres Verhalten ausrichten.
Mit dem Erscheinen der Alpaca-Modelle (Stanford, 2023), die Llama mit nur 52.000 generierten Instruktionsdaten zu einem brauchbaren Chat-Assistenten machten, entstand 2023/2024 ein regelrechter Boom an "Open Models, Fine-Tuned".