Ein künstliches neuronales Netz ist ein mathematisches Modell, das von der Funktionsweise biologischer Neuronen inspiriert ist und aus Schichten verbundener "Neuronen" besteht. Jedes Neuron berechnet eine gewichtete Summe seiner Eingaben, addiert einen Bias und gibt das Ergebnis durch eine Aktivierungsfunktion (z. B. ReLU, Sigmoid, Tanh, GELU, Softmax) weiter. Die Gewichte werden während des Trainings über Backpropagation und einen Optimierer (SGD, Adam, AdamW, Lion) so angepasst, dass eine Verlustfunktion über einem Trainingsdatensatz minimiert wird.
Eingesetzt werden neuronale Netze in praktisch allen Bereichen moderner KI: Bildklassifikation, Objekterkennung und Segmentierung (CNNs, Vision Transformers), Spracherkennung und -synthese, maschinelle Übersetzung, Sprach- und Code-Generierung (Transformers, Diffusion Models), Empfehlungssysteme, autonome Agenten, Reinforcement Learning. Architekturen reichen von einfachen Feed-Forward-Netzen über Convolutional Neural Networks (CNNs), Rekurrente Netze (RNN, LSTM, GRU), Transformer und Mixture-of-Experts bis zu spezialisierten Strukturen wie Graph Neural Networks (GNNs) und Diffusionsmodellen.
Klassische statistische Modelle benötigen handgebaute Features, die in Domänen wie Bild und Sprache mühsam und oft unvollständig sind. Neuronale Netze lernen diese Features implizit aus den Daten, sofern genug Daten und Rechenleistung verfügbar sind — eine Bedingung, die durch das Internet (Daten) und GPUs (Rechenleistung) im 21. Jahrhundert erfüllt wurde.
Historisch geht das Konzept auf McCulloch und Pitts (1943) und das Perzeptron von Frank Rosenblatt (1958) zurück. Marvin Minsky und Seymour Papert zeigten 1969 die Grenzen einschichtiger Perzeptrons, was zu einem Forschungsrückgang führte ("erster KI-Winter"). Backpropagation wurde 1986 durch Rumelhart, Hinton und Williams populär gemacht; in den 1990er- und 2000er-Jahren waren neuronale Netze wegen Datenmangel und Rechenkosten in vielen Anwendungen jedoch SVMs und Random Forests unterlegen. Erst ab 2012, mit dem ImageNet-Sieg von AlexNet, traten tiefe neuronale Netze ihren heutigen Siegeszug an.
Eingeführt und geprägt wurden neuronale Netze von einer Vielzahl von Forschern, darunter Frank Rosenblatt, John Hopfield, Geoffrey Hinton, Yann LeCun, Yoshua Bengio, Jürgen Schmidhuber und Sepp Hochreiter. Sepp Hochreiter beschrieb 1991 in seiner Diplomarbeit das "Vanishing Gradient"-Problem klassischer rekurrenter Netze — ein zentrales Hindernis für das Training tiefer Architekturen. Daraus entstand 1997 das LSTM-Konzept (Hochreiter, Schmidhuber). LSTMs waren über eineinhalb Jahrzehnte die führende Architektur für Sequenzmodelle, bis sie ab 2017 schrittweise durch Transformer abgelöst wurden.