Ein Embedding ist eine numerische Repräsentation eines Datenobjekts (Wort, Satz, Dokument, Bild, Audioausschnitt, Nutzer, Produkt) in einem hochdimensionalen Vektorraum, in dem semantische Ähnlichkeit durch geometrische Nähe ausgedrückt wird. Embeddings werden typischerweise von einem Modell erzeugt — etwa einem Transformer-Encoder oder spezialisierten Embedding-Modellen wie text-embedding-3 (OpenAI), Cohere Embed, bge-m3, e5, Jina, Voyage, Anthropic Voyager oder OSS-Modellen wie Sentence-Transformers. Das Modell lernt im Training, dass ähnliche Inhalte nahe beieinander liegen sollen, oft über Kontrastiv-Loss-Verfahren.
Eingesetzt werden Embeddings in semantischer Suche, Retrieval-Augmented Generation, Empfehlungssystemen, Clustering und Visualisierung (mit t-SNE, UMAP), Anomalie-Erkennung, Personalisierung und multimodalen Suchsystemen (z. B. Bild-zu-Text-Suche mit CLIP). In Datenbanken werden sie über Vektorindexe wie HNSW, IVF, PQ oder DiskANN effizient durchsuchbar gemacht — implementiert in Pinecone, Weaviate, Qdrant, Milvus, pgvector, Azure AI Search, Elasticsearch oder OpenSearch.
Klassische Schlüsselwortsuche bewertet Übereinstimmung von Tokens und scheitert an Synonymen, Umformulierungen oder semantisch ähnlichen, aber lexikalisch verschiedenen Anfragen. Embeddings ermöglichen "Bedeutung-für-Bedeutung"-Suche und sind damit die Grundlage für RAG, Recommender Systems und semantische Daten-Abgleiche.
Historisch reichen die Wurzeln in die Distributional Semantics der Linguistik zurück ("You shall know a word by the company it keeps" — J. R. Firth, 1957). Word2Vec (Mikolov et al., Google, 2013), GloVe (Pennington et al., Stanford, 2014) und FastText (Facebook, 2016) machten Wort-Embeddings populär. Mit BERT (2018) und seinen Nachfolgern entstanden kontextbasierte Satz- und Dokumenten-Embeddings, die Bedeutung in Abhängigkeit vom umgebenden Kontext kodieren. Multimodale Embeddings (CLIP, OpenAI 2021) erweiterten das Konzept auf Bild und Text in einem gemeinsamen Vektorraum.
Eingeführt und geprägt wurde der moderne Embedding-Begriff durch Tomas Mikolov und Kollegen bei Google sowie zahlreiche akademische Arbeiten. Word2Vec wurde 2013 in seiner ursprünglichen Form berühmt für die "king − man + woman ≈ queen"-Vektorarithmetik, die illustriert, dass Embeddings semantische Beziehungen geometrisch erfassen. Diese Beispielrechnung wurde in unzähligen Vorträgen wiederholt; sie ist gleichzeitig irreführend, weil neuere Forschung gezeigt hat, dass die zugrundeliegenden Vektor-Räume Bias und Stereotype mitlernen. Daraus ist ein eigenes Forschungsfeld zu "debiasing" und "fair embeddings" entstanden, das heute zu den Standardthemen der Responsible AI gehört.