Retrieval-Augmented Generation (RAG) ist eine Architektur, bei der ein generatives Sprachmodell vor der Antwort gezielt auf eine externe Wissensquelle zugreift und die abgerufenen Inhalte als Kontext in den Prompt einbettet. Klassisch besteht ein RAG-System aus drei Komponenten: einem Retriever (typischerweise ein semantischer Suchindex über Embeddings, oft kombiniert mit klassischer Volltextsuche wie BM25), einem Wissensspeicher (Vektordatenbank, Suchmaschine, relationale DB) und einem Generator-LLM, das mit dem zusammengestellten Kontext die Antwort formuliert.
Eingesetzt wird RAG in Wissens-Chatbots, Dokumenten-Assistenten, Customer-Support-Lösungen, Code-Search-Tools, Compliance-Anwendungen und in jeder Situation, in der die Antwort eines Modells auf einer kuratierten, kontrollierbaren Datenbasis beruhen soll. Häufige Werkzeuge sind LangChain, LlamaIndex, Semantic Kernel und Agent Framework (Microsoft), Haystack, Vektordatenbanken wie Pinecone, Weaviate, Qdrant, Milvus, Azure AI Search, pgvector (PostgreSQL) und OpenSearch, sowie Re-Ranker wie Cohere Rerank, BGE-Reranker und Cross-Encoder.
Das Problem liegt in den Schwächen rein parametrischer Modelle. LLMs "wissen" nur, was zum Zeitpunkt ihres Trainings in den Daten enthalten war; sie tendieren bei Wissensfragen zu Halluzinationen, sind nicht aktualisierbar und können keine internen Unternehmensdaten konsultieren. RAG kombiniert das Sprachverständnis des Modells mit aktuellen, kontrollierbaren Datenquellen und reduziert Halluzinationen, ohne das Modell selbst feinabstimmen zu müssen. Damit ist RAG häufig kostengünstiger und einfacher zu pflegen als domänenspezifische Fine-Tuning-Strategien.
Historisch wurde der Begriff "Retrieval-Augmented Generation" 2020 in einem Paper von Patrick Lewis et al. (Facebook AI Research, heute Meta) eingeführt: "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" (NeurIPS 2020). Mit der Verbreitung großer LLMs ab 2022/2023 ist RAG zu einem De-facto-Standardmuster für domänenspezifische KI-Anwendungen geworden. Spätere Entwicklungen umfassen Hybrid-Retrieval (Sparse plus Dense), Re-Ranking, Multi-Vector-Repräsentationen (ColBERT), strukturierte Retrieval-Strategien (GraphRAG von Microsoft Research, 2024) und "Long-Context"-Varianten, die mit sehr langen Kontextfenstern arbeiten.
RAG ist eines jener Konzepte, die in der akademischen Welt vergleichsweise wenig diskutiert, in der Industrie aber innerhalb weniger Quartale zum Standardvokabular wurden — fast jede "Build-your-own-ChatGPT"-Anleitung der Jahre 2023/2024 baut auf einem RAG-Setup auf. Das Microsoft-Forschungspapier zu GraphRAG (2024) hat die Diskussion neu entfacht, weil es zeigt, dass Vektor-Suche allein bei komplexen Wissensfragen nicht reicht und strukturierte Wissensgraphen den Retrieval-Schritt deutlich aufwerten können.
Bei bluehands führen wir diesen Ansatz (GraphRAG) weiter und implementieren es z.Z. in einem Kundenprojekt.