Halluzination bezeichnet im KI-Kontext das Phänomen, dass ein generatives Modell — typischerweise ein LLM oder ein Bildmodell — Inhalte erzeugt, die plausibel klingen, aber faktisch falsch oder erfunden sind: nicht existierende Quellen, falsch zitierte Studien, falsche Personen, falsche Datumsangaben, fingierte API-Funktionen, halluzinierte Code-Bibliotheken. Der Begriff ist in der Forschung umstritten, weil er biologisch konnotiert ist, hat sich aber in der Industrie als Sammelbegriff für "nicht faktentreu generierte Inhalte" etabliert. Im engeren Sinn unterscheiden Forscher zwischen Faithfulness-Halluzinationen (Abweichungen vom Quellkontext) und Faktenhalluzinationen (Abweichungen vom Wissen über die Welt).
Beobachtbar werden Halluzinationen in fast allen LLM-Anwendungen: in Chatbots (erfundene Quellen), in RAG-Systemen (Wahrscheinlichkeit, dass das Modell trotz korrekter Quellen abweicht), in Codeassistenten (erfundene API-Methoden), in Übersetzungs- und Zusammenfassungssystemen (hinzugefügte Inhalte, die im Original nicht stehen). Maßnahmen zur Reduktion sind Retrieval-Augmented Generation, strukturierte Ausgaben mit Schema-Validierung, "Cite-and-Verify"-Strategien, Tool Use mit echten Datenquellen, Reasoning-Modelle mit explizitem Reflection-Schritt und Selbstkonsistenz-Prüfungen.
Der Einsatzzweck der Auseinandersetzung mit Halluzinationen liegt im Vertrauensmanagement. KI-Anwendungen mit Geschäftsrelevanz — in Recht, Medizin, Finanzen, Compliance, Engineering — müssen den Anteil halluzinierter Aussagen kontrollierbar machen. Dazu gehören Evaluationsmethoden mit kuratierten Test-Sets, Prozesse für menschliche Freigabe (Human-in-the-Loop), Pflicht zur Quellenangabe und "abstain"-Strategien, bei denen das Modell explizit sagt, dass es eine Antwort nicht weiß. Halluzinationen lassen sich aktuell nicht vollständig vermeiden, aber durch Architektur und Training spürbar reduzieren.
Historisch wurde der Begriff Halluzination im NLP-Kontext schon vor der heutigen LLM-Welle verwendet — in der maschinellen Übersetzung beschreibt er seit den frühen 2010er-Jahren Texte, die Inhalte enthalten, die in der Quelle nicht stehen. Mit ChatGPT und der LLM-Welle ab 2022 ist der Begriff in den allgemeinen Sprachgebrauch übergegangen. Forschungsergebnisse von Anthropic (z. B. "Constitutional AI", "Tracing the thoughts of a large language model"), OpenAI, DeepMind und Universitäten haben das Verständnis der zugrundeliegenden Mechanismen — etwa Verzerrungen im Pretraining, Confidence-Misskalibrierung, Reward-Hacking in RLHF — vertieft.