Natural Language Processing (NLP) ist das Teilgebiet der KI, das sich mit der maschinellen Verarbeitung und Erzeugung natürlicher Sprache befasst — geschrieben oder gesprochen. Aufgaben reichen von Tokenisierung, Lemmatisierung, Part-of-Speech-Tagging, Named-Entity-Recognition, Parsing über Sentiment Analysis, Topic Modeling, Textklassifikation, Übersetzung, Zusammenfassung und Frage-Antwort-Systeme bis zu generativen Aufgaben wie Dialog, Code- und Textgenerierung. Moderne NLP-Systeme basieren überwiegend auf Transformer-Modellen, insbesondere LLMs.
Eingesetzt wird NLP in Suchmaschinen, Übersetzungsdiensten, Chatbots und virtuellen Assistenten, Spam-Filtern, Compliance-Werkzeugen, Empfehlungssystemen, Speech-to-Text- und Text-to-Speech-Pipelines, Stimmungsanalyse für Marken und Produkte, Wissensextraktion aus Unternehmensdokumenten, Code-Suchsystemen und Dokumenten-Klassifikation. Bibliotheken und Werkzeuge sind unter anderem spaCy, NLTK, Stanza, Hugging Face Transformers, fastText, Gensim, scikit-learn, Whisper (OpenAI) für Spracherkennung sowie Cloud-Dienste wie Azure AI Language, Google Cloud Natural Language API und AWS Comprehend.
Das Problem liegt in der enormen Vielfalt natürlicher Sprache: Mehrdeutigkeit, Synonyme, Sarkasmus, kulturelle Kontexte, Code-Switching, Dialekte und ständige Sprachveränderung. NLP-Systeme erlauben es, Sprache automatisiert zu strukturieren, zu durchsuchen, zu übersetzen und zu transformieren — Aufgaben, die für Menschen nicht skalierbar sind. Mit dem Aufstieg von LLMs hat sich NLP zudem von einem fachspezifischen, regelbasierten Feld zu einem stark daten- und modellgetriebenen Feld gewandelt.
Historisch reicht NLP bis in die 1950er-Jahre zurück. Frühe regelbasierte Systeme wie ELIZA (Joseph Weizenbaum, MIT, 1966) und SHRDLU (Terry Winograd, 1970) prägten die Anfänge. Statistische Ansätze ab den 1990er-Jahren — Hidden Markov Models, statistische Maschinenübersetzung à la IBM-Modelle — verschoben den Schwerpunkt auf Daten. Word2Vec (2013), seq2seq mit Attention (Bahdanau et al., 2014), Transformer (2017), BERT (2018) und GPT (2018+) markieren die heutige tiefe Lernära. Mit ChatGPT (2022) ist NLP vom Forschungsthema zum Alltagsbegriff geworden.
Geprägt wurde NLP von einer langen Reihe von Forschern, darunter Noam Chomsky (formale Sprachen), Frederick Jelinek (statistische NLP), Christopher Manning (Stanford), Hinrich Schütze, Yoshua Bengio (neuronale Sprachmodelle) und vielen weiteren. Frederick Jelinek hat in den 1980er-Jahren bei IBM den oft zitierten Satz geprägt: "Every time I fire a linguist, the performance of our speech recognizer goes up". Diese pointierte Aussage charakterisiert den schmerzhaften Übergang von regelbasiertem, linguistisch motiviertem NLP zu datengetriebenen statistischen Verfahren.