Ein Large Language Model (LLM) ist ein neuronales Netz mit typischerweise mehreren Milliarden bis hin zu mehreren hundert Milliarden Parametern, das auf sehr großen Textmengen trainiert wurde, um Sprache zu modellieren — also zu jedem gegebenen Kontext eine Wahrscheinlichkeitsverteilung über mögliche nächste Tokens zu liefern. Die meisten modernen LLMs basieren auf der Transformer-Architektur (Vaswani et al., 2017) und werden in zwei Phasen trainiert: ein Pretraining mit selbstüberwachtem Lernen auf riesigen Korpora (Web, Bücher, Code) und ein Alignment-/Instruction-Tuning mit Reinforcement Learning from Human Feedback (RLHF) oder ähnlichen Verfahren.
Eingesetzt werden LLMs für Textgenerierung, Übersetzung, Zusammenfassung, Klassifikation, Dialogsysteme, Code-Generierung und -Erklärung, RAG-basierte Wissens-Assistenten, Tool-Use und Agentic-Workflows. Bekannte Modellfamilien sind Anthropic Claude, OpenAI GPT, Google Gemini, Meta Llama, Mistral, Cohere Command, xAI Grok, Microsoft Phi sowie chinesische Modelle wie Qwen, GLM, ERNIE und Hunyuan. Die Bereitstellung erfolgt über APIs (Anthropic, OpenAI, Google, Azure OpenAI Service, Amazon Bedrock) oder über lokal ausgeführte Open-Weight-Modelle (Llama, Mistral, Qwen, Phi).
Der Einsatzzweck liegt in der vereinheitlichten Nutzung natürlicher Sprache als Schnittstelle. Klassische NLP-Pipelines bestanden aus separaten Modellen für Sprach-, Stimmungs-, Themen- und Übersetzungsanalysen. LLMs deckab über In-Context-Learning viele dieser Aufgaben in einem einzigen Modell ab und ermöglichen flexible neue Anwendungen. Von Coding-Assistenten über Wissens-Chatbots bis zu autonomen Agenten. Gleichzeitig stellen sie neue Herausforderungen: Halluzinationen, Bias, Datenschutz, hohe Trainings- und Inferenzkosten, Sicherheits- und Missbrauchsrisiken.
Historisch wurde der Begriff "Large Language Model" im engeren Sinn ab etwa 2018 mit dem Erscheinen von BERT und GPT-1 üblich. GPT-3 (2020) mit 175 Milliarden Parametern markierte den Sprung in die "Foundation Model"-Ära; ChatGPT (November 2022) brachte LLMs einer breiten Öffentlichkeit nahe. Anthropic Claude (2023), Google Gemini (2023), Meta Llama (Open-Weights, 2023) und Mistral haben das Marktbild seitdem geprägt. Forschungsthemen wie Mixture-of-Experts (MoE), längere Kontextfenster, Reasoning-fähige Modelle (z. B. OpenAI o-Serie, Claude mit Extended Thinking) und multimodale Modelle (Bild, Audio, Video) treiben die Entwicklung kontinuierlich weiter.
Geprägt wurden LLMs maßgeblich durch Forschungsgruppen bei Google (Transformer, BERT, T5, PaLM, Gemini), OpenAI (GPT-Familie), Anthropic (Claude), Meta (Llama), DeepMind (Gopher, Chinchilla) und chinesischen Forschungsteams. Das Originalpaper "Attention Is All You Need" (Vaswani et al., 2017) war ursprünglich für maschinelle Übersetzung gedacht — die Autorenschaft dachte zum Zeitpunkt der Veröffentlichung nicht daran, dass dieselbe Architektur wenige Jahre später als Grundlage einer ganzen industriellen Welle dienen würde. Das Aufkommen von LLMs hat die KI-Landschaft seit 2020 dramatisch verändert und ist heute der zentrale Treiber für Innovationen in praktisch allen Bereichen der KI-Anwendung.