Glossar

Alle Fachbegriffe der Chronik in alphabetischer Reihenfolge. Die Zahl am Ende nennt den Abschnitt, in dem der Begriff eingeführt wird.

A

• Agenten – Sprachmodelle, die mit Werkzeugen handeln und mehrstufige Aufgaben in einer Schleife aus Planen, Handeln und Prüfen erledigen. 7
• AGI – Artificial General Intelligence, eine KI, die so vielseitig wäre wie ein Mensch. Ob sie erreichbar ist, ist umstritten. 8
• Aktivierungsfunktion – Regel, die aus der gewichteten Summe der Eingaben den Ausgabewert eines Neurons macht. 3
• AlexNet – Faltendes Netz mit acht Schichten, das 2012 den ImageNet-Wettbewerb gewann und den Durchbruch des Deep Learning markiert. 5
• Alignment – Ausrichtung eines Modells an dem, was Menschen von ihm wollen, statt an dem, was im Trainingsmaterial am wahrscheinlichsten ist. 6
• AlphaFold 2 – Modell von DeepMind, das 2020 die dreidimensionale Form von Proteinen aus ihrer Bausteinkette vorhersagt. 6
• AlphaGo – Programm von DeepMind, das 2016 den Go-Profi Lee Sedol besiegte, durch Suche plus zwei tiefe Netze. 5
• Architektur – Bauplan eines Netzes: welche Schichten es hat und wie sie verbunden sind. 6
• Assoziatives Gedächtnis – Netz nach Hopfield (1982), das Muster als Ganzes speichert und aus Bruchstücken vervollständigt. 3
• Attention – Verfahren, bei dem ein Netz beim Erzeugen jedes Worts gewichtet auf alle Wörter der Eingabe zurückblickt. 5
• Autonome Waffensysteme – Waffen, die ihr Ziel ohne menschliche Freigabe auswählen und bekämpfen; seit 2014 Gegenstand von Verhandlungen bei den Vereinten Nationen. 8

B

• Backpropagation – Verfahren, das den Fehler eines Netzes rückwärts durch alle Schichten verfolgt und jedem Gewicht seinen Anteil zuweist. 3
• Bayes’sche Netze – Modelle, die Abhängigkeiten zwischen Dingen als Wahrscheinlichkeiten abbilden. 4
• Benchmarks – Standardisierte Prüfungen, mit denen Modelle verglichen werden. 7
• Bestärkendes Lernen – Lernen aus Belohnung und Strafe statt aus richtigen Antworten; das System probiert Handlungen aus. 5
• Black Box – Ein tiefes Netz, dessen Entscheidungsgründe nach dem Training niemand mehr genau benennen kann. 5

C

• Chain of Thought – Gedankenkette: ein Modell wird gebeten, Schritt für Schritt zu denken, bevor es antwortet. 7
• Chatbot – Programm, mit dem man sich schriftlich unterhält. 2
• ChatGPT – Chat-Oberfläche auf einem GPT-Modell, veröffentlicht im November 2022. 7
• Chinesisches Zimmer – Searles Gedankenexperiment (1980): Wer chinesische Zeichen nur nach einem Regelbuch umformt, versteht kein Chinesisch; ein Programm tue nichts anderes. 3
• Klasse – Kategorie, in die ein Beispiel bei der Klassifikation einsortiert wird. 2
• Klassifikation – Einsortieren von Beispielen in Klassen. 2
• CLIP – Modell von OpenAI (2021), das Bilder und Texte im selben Vektorraum ablegt. 6
• Convolutional Neural Network (CNN) – Faltendes Netz, das Bilder mit wandernden Filtern nach Mustern absucht. 3

D

• Decoder – Teil eines Netzes, der aus einer inneren Darstellung Wort für Wort Text erzeugt. 5
• Deep Learning – Lernen in tiefen Netzen mit vielen Schichten, die ihre Merkmale stufenweise selbst bilden. Begriff von Hinton, 2006. 4
• Deepfakes – Gefälschte Bilder, Stimmen oder Videos realer Personen, erzeugt durch generative Modelle. 7
• DENDRAL – Erstes Expertensystem (ab 1965), das Molekülstrukturen aus Spektrometerdaten ableitete. 3
• Deskriptoren – Handgemachte Bildmerkmale wie SIFT und SURF, die Kanten und Ecken als Zahlenlisten beschreiben. 4
• Destillation – Training eines kleinen Modells darauf, die Antworten eines großen nachzuahmen. 7
• Diffusionsmodelle – Bildgeneratoren, die lernen, schrittweise verrauschte Bilder wieder zu entrauschen. 7
• DQN – Netz von DeepMind (2013), das Atari-Spiele allein aus Bildschirmpixeln und Punktestand lernte. 5
• Dropout – Zufälliges Abschalten von Neuronen beim Training, damit sich das Netz nicht auf einzelne verlässt. 5

E

• ELIZA – Früher Chatbot von Weizenbaum (1966), der mit Schlüsselwörtern und Satzmustern antwortete. 2
• Emergente Fähigkeiten – Fähigkeiten, die kleinen Modellen fehlen und ab einer bestimmten Größe von selbst auftauchen. 6
• Empfehlungsdienste – Systeme, die aus dem bisherigen Verhalten vorhersagen, welches Video, Produkt oder welcher Beitrag als Nächstes gefällt. 5
• Encoder – Teil eines Netzes, der eine Eingabe liest und zu einer inneren Darstellung verdichtet. 5
• Entscheidungsbaum – Folge von Ja/Nein-Fragen, die zu einer Entscheidung führt. 4
• Epoche – Ein vollständiger Durchlauf durch alle Trainingsbeispiele. 5
• Expertensystem – Programm, das in einem engen Fachgebiet mit Regeln wie ein menschlicher Experte entscheidet. 3

F

• Faktenwissen – Lehrbuchwissen eines Fachgebiets, im Gegensatz zum heuristischen Erfahrungswissen. 3
• Feature Engineering – Von Menschen ausgedachte Berechnung von Merkmalen aus Rohdaten. 4
• Fehler – Zahl, die misst, wie weit die Ausgabe eines Netzes von der richtigen Antwort abweicht. 3
• Feintuning – Anpassung eines vortrainierten Modells an eine bestimmte Aufgabe mit wenigen Beispielen. 6
• Filter – Kleine Musterschablonen, die in einem faltenden Netz über das Bild wandern. 3
• Foundation Model – Einmal vortrainiertes Modell, auf dem viele Anwendungen aufsetzen. Begriff von 2021. 6
• Frames – Datenstrukturen nach Minsky, die alle Eigenschaften eines Begriffs bündeln und von Oberbegriffen erben. 3
• Fuzzy-Logik – Logik mit Abstufungen zwischen wahr und falsch, von Zadeh, 1965. 2

G

• GANs – Generative Adversarial Networks: ein Fälscher-Netz und ein Prüfer-Netz treten gegeneinander an. 5
• General Problem Solver – Programm von Newell, Shaw und Simon (1957), das jedes Problem durch Zerlegen in Teilziele lösen sollte. 2
• Generalisierung – Fähigkeit eines Modells, auch nie gesehene Beispiele richtig einzuordnen. 2
• Generative KI – Modelle, die neue Inhalte erzeugen, statt Vorhandenes nur einzuordnen. 7
• Gespeichertes Programm – Bauprinzip, bei dem das Programm wie Daten im Speicher liegt statt in der Verdrahtung. 1
• Gewicht – Zahl an einer Verbindung, mit der das ankommende Signal multipliziert wird; Lernen heißt Gewichte verändern. 1
• GPU – Grafikprozessor mit Tausenden einfachen Rechenwerken, der das Training neuronaler Netze stark beschleunigt. 4
• Gradient – Angabe für jedes Gewicht, in welche Richtung und wie stark sich der Fehler ändert. 3
• Gradientenabstieg – Schrittweises Verstellen der Gewichte in die Richtung, die den Fehler senkt. 3

H

• Halluzinationen – Überzeugend klingende, aber falsche Aussagen eines Sprachmodells. 7
• Heuristiken – Faustregeln, die aussichtslose Möglichkeiten früh aussortieren. 1
• Heuristisches Wissen – Erfahrungsregeln, die ein Experte erst in Jahren der Praxis erwirbt. 3
• Hidden-Markov-Modelle – Statistische Modelle für Folgen verborgener Zustände, die nur über ihre Wirkungen sichtbar sind; Grundlage der Spracherkennung bis 2012. 4

I

• ImageNet – Datenbank mit Millionen von Hand beschrifteter Fotos (2009) und der zugehörige Wettbewerb. 4
• In-Context-Learning – Ein Modell setzt ein im Prompt gezeigtes Muster fort, ohne dass sich seine Gewichte ändern. 6
• Inferenz – Einsatz eines fertig trainierten Modells, im Gegensatz zum Training. 7
• Inferenzmaschine – Teil eines Expertensystems, der Regeln aneinanderreiht und Schlüsse zieht. 3
• Instruction Tuning – Nachtraining mit Beispielen, in denen auf eine Anweisung die gewünschte Antwort folgt. 7
• Intelligenzexplosion – Goods Gedanke von 1965: Eine Maschine, die klüger ist als ihre Erbauer, baut noch klügere Maschinen. 7

J

• Jailbreak – Prompt, der die antrainierten Grenzen eines Modells umgeht. 7

K

• KI-Effekt – Sobald ein Verfahren zuverlässig funktioniert, gilt es nicht mehr als KI, sondern als Software. Einleitung
• KI-Winter – Phase aus Enttäuschung und Geldmangel in der KI-Forschung. 2
• Kombinatorische Explosion – Vervielfachung der Möglichkeiten mit jedem Schritt, etwa bei Schachzügen. 2
• Kontextfenster – Menge an Tokens, die ein Modell auf einmal berücksichtigen kann. 7
• Künstliches Neuron – Mathematische Nachbildung einer Nervenzelle, die Eingaben summiert und bei Überschreiten eines Schwellenwerts feuert. 1

L

• Large Language Model (LLM) – Großes Sprachmodell mit Milliarden Parametern. 6
• Lernrate – Schrittweite beim Gradientenabstieg, etwa 0,1: jedes Gewicht wird um ein Zehntel seines Gradienten verändert. 3
• Linear trennbar – Aufgabe, bei der eine einzige Gerade alle Beispiele der einen Klasse von der anderen trennt. 2
• LISP – Programmiersprache von McCarthy (1958), jahrzehntelang die Sprache der KI-Forschung. 2
• Logic Theorist – Programm von Newell, Shaw und Simon (1956), das mathematische Sätze bewies. 1
• LSTM – Long Short-Term Memory: rekurrentes Netz mit Speicherzelle und Toren, von Hochreiter und Schmidhuber, 1997. 4

M

• Maschinelles Lernen – Oberbegriff für Programme, die aus Erfahrung besser werden, statt programmiert zu sein. Begriff von Samuel, 1959. 2
• Merkmale – Eigenschaften der Daten, die für eine Aufgabe nützlich sind, etwa Kanten in Bildern. 3
• Mixture of Experts – Modell aus vielen Teilnetzen, von denen pro Token nur wenige rechnen. 7
• Modell – Rechenvorschrift mit fertig eingestellten Gewichten, das Ergebnis des Trainings. 2
• Modellkollaps – Verlust seltener Muster, wenn ein Modell auf den Ausgaben seiner Vorgänger trainiert wird. 7
• Monte-Carlo-Baumsuche – Suchverfahren, das Partien zufällig zu Ende spielt und die Züge weiterverfolgt, die sich am häufigsten lohnen; zweiter Baustein von AlphaGo. 5
• Moravecsches Paradox – Was Menschen schwerfällt (Schach, Algebra), ist für Rechner leicht; was jedes Kind beherrscht (Sehen, Greifen, Gehen), ist für Rechner schwer. 3
• Multimodale Modelle – Modelle, die neben Text auch Bilder, Ton und Video verarbeiten. 7

N

• Nächste-Nachbarn-Algorithmus – Verfahren, das ein neues Beispiel mit den ähnlichsten bekannten vergleicht. 4
• Neuronales Netz – Viele verbundene künstliche Neuronen, bei denen die Ausgabe des einen die Eingabe des nächsten ist. 1
• Neuronen – Nervenzellen, die Signale empfangen und bei genügend Anregung selbst feuern. 1
• NP-Vollständigkeit – Theorie (um 1971), nach der ganze Klassen von Aufgaben in absehbarer Zeit unlösbar sind. 2

O

• Open-Weights-Modelle – Modelle, deren Gewichte jeder herunterladen und auf eigener Hardware betreiben kann. 7
• Overfitting – Ein Netz lernt seine Trainingsbeispiele auswendig, statt das allgemeine Muster zu erfassen. 5

P

• Parameter – Die einstellbaren Zahlen eines Modells, vor allem seine Gewichte. 6
• Perzeptron – Künstliches Neuron nach Rosenblatt (1958), das seine Gewichte selbst einstellt. 2
• Pixel – Bildpunkte eines digitalen Bilds, jeder mit einem Helligkeitswert. 3
• Pooling-Schicht – Schicht, die ein Bild verkleinert, indem sie aus einer Nachbarschaft von Pixeln nur den stärksten Wert behält. 3
• Problem des verschwindenden Gradienten – Die Fehlerinformation schrumpft auf dem Weg durch viele Schichten, sodass vordere Schichten nicht lernen. 3
• Prompt – Der Eingabetext, den man einem Sprachmodell gibt. 6
• Prompt Injection – Versteckte Anweisungen in Inhalten, die ein Agent liest und fälschlich ausführt. 7

Q

• Quantisierung – Speichern der Gewichte mit weniger Nachkommastellen, damit Modelle kleiner und schneller werden. 7

R

• RAG – Retrieval-Augmented Generation: das Modell antwortet auf Grundlage vorher herausgesuchter Dokumente. 7
• Random Forest – Viele unterschiedliche Entscheidungsbäume, die abstimmen. 4
• Rauschen – Veränderung jedes Bildpunkts um einen zufälligen Betrag; nach vielen Schritten bleibt nur ein formloses Gewimmel heller und dunkler Punkte, das Diffusionsmodelle schrittweise entfernen lernen. 7
• Reasoning-Modelle – Modelle, die vor der Antwort Zwischenschritte durcharbeiten. 7
• Rekurrentes neuronales Netz (RNN) – Netz, das eine Sequenz Element für Element liest und dabei ein Gedächtnis mitführt. 4
• ReLU – Aktivierungsfunktion, die negative Summen als 0 und positive unverändert ausgibt. 5
• Residual-Verbindungen – Abkürzungen, über die das Signal Schichten überspringen kann; machen sehr tiefe Netze trainierbar. 5
• RLHF – Reinforcement Learning from Human Feedback: Menschen bewerten Antworten, das Modell lernt, gut bewertete zu bevorzugen. 7
• Roboter – Künstliche Maschine, die Arbeit verrichtet, die sonst Menschen tun; das Wort stammt aus Čapeks „R.U.R.“ (1920). 1
• Rückwärtsverkettung – Schließen vom vermuteten Ergebnis zurück zu den Regeln, die es stützen. 3

S

• Schichten – Hintereinander angeordnete Gruppen von Neuronen; die Ausgaben einer Schicht sind die Eingaben der nächsten. 2
• Schwache KI – Simulation intelligenten Verhaltens für bestimmte Aufgaben; trifft auf alle bisherigen Systeme zu. 3
• Schwellenwert – Grenzwert, ab dem ein künstliches Neuron eine 1 ausgibt. 1
• Selbstüberwachtes Lernen – Der Text liefert die richtige Antwort selbst, etwa durch Vorhersage verdeckter Wörter. 6
• Self-Attention – Jedes Wort eines Textes gewichtet, wie wichtig jedes andere Wort desselben Textes für sein Verständnis ist. 6
• Sequence-to-Sequence – Encoder liest eine Sequenz, Decoder erzeugt daraus eine andere, etwa eine Übersetzung. 5
• Sequenzen – Daten, bei denen die Reihenfolge zählt, etwa Text oder Sprache. 4
• Shakey – Erster mobiler Roboter, der seine Handlungen selbst plante (SRI, 1966–1972); Ursprung des Suchalgorithmus A*. 2
• Sicherheitsfaktor – Wert zwischen 0 und 1, mit dem MYCIN die Verlässlichkeit einer Regel bewertete. 3
• Singularität – Der von Vinge 1993 so benannte Punkt, an dem Maschinen die menschliche Intelligenz übertreffen und die Entwicklung sich der Vorhersage entzieht. 7
• Skalierungsgesetze – Die Leistung steigt vorhersagbar mit Modellgröße, Datenmenge und Rechenleistung. 6
• Sprachmodell – Netz, das für einen Textanfang die Wahrscheinlichkeit jedes nächsten Tokens berechnet. 6
• Starke KI – Eine Maschine, die tatsächlich versteht und ein Bewusstsein hat. 3
• Suchverfahren – Durchsuchen eines Baums von Möglichkeiten nach einem Weg zum Ziel. 2
• Support Vector Machines – Verfahren, das die Trennlinie mit dem größten Abstand zu beiden Klassen sucht. 4
• Symbol – Zeichen, das für etwas steht, etwa ein Wort oder eine Schachfigur. 2
• Symbolische KI – Ansatz, Denken als Umformen von Symbolen nach Regeln nachzubilden. 2
• Synthetische Daten – Trainingsdaten, die Modelle selbst erzeugen. 7
• Systemprompt – Unsichtbare Anweisung des Anbieters, die jedem Gespräch vorangestellt wird. 7

T

• Temperatur – Einstellung, ob ein Modell immer das wahrscheinlichste Token wählt oder auch unwahrscheinlichere. 7
• Testdaten – Zurückgehaltene Beispiele, mit denen geprüft wird, ob ein Modell Unbekanntes richtig einordnet. 5
• Tokenizer – Verfahren, das Text in Tokens zerlegt, gelernt aus den häufigsten Zeichenfolgen. 6
• Tokens – Wörter oder Wortteile, mit denen ein Sprachmodell rechnet. 6
• Tools – Werkzeuge wie Websuche oder Codeausführung, die ein Agent benutzen kann. 7
• Tore – Lernende Schalter im LSTM, die entscheiden, was gespeichert, behalten und ausgegeben wird. 4
• Training – Üben an Beispielen, bei dem die Gewichte schrittweise angepasst werden. 2
• Trainingsdaten – Die Beispielsammlung, an der ein Modell lernt. 2
• Transfer Learning – Ein vortrainiertes Netz als Ausgangspunkt für eine neue Aufgabe nutzen. 5
• Transformer – Architektur von 2017, die ganz auf Self-Attention beruht und alle Wörter gleichzeitig verarbeitet. 6
• Turing-Maschine – Gedachtes Gerät von 1936, das alles berechnen kann, was berechenbar ist. 1
• Turing-Test – Ein Mensch chattet mit einem Unbekannten; kann er Mensch und Maschine nicht unterscheiden, gilt die Maschine als intelligent. 1

U

• Überwachtes Lernen – Lernen an Beispielen, bei denen die richtige Antwort mitgeliefert wird. 2
• UND, ODER, NICHT – Die drei Grundbausteine der Logik, aus denen jede Rechnung eines Computers besteht. 1
• Unüberwachtes Lernen – Das Verfahren bekommt nur Daten und sucht darin selbst nach Struktur. 4

V

• Vektor – Liste von Zahlen, etwa die Darstellung eines Worts im Raum der Word Embeddings. 5
• Vektordatenbank – Speicher für Dokumente als Vektoren, in dem sich inhaltlich nahe Textstellen finden lassen. 7
• Verborgene Schichten – Schichten zwischen Eingabe und Ausgabe, deren Ausgaben niemand vorgeben kann. 3
• Vision-Language-Action-Modell – Sprachmodell, das Kamerabilder und Anweisungen liest und daraus Bewegungsbefehle für einen Roboter erzeugt (RT-2, 2023). 8
• Vortraining – Lernen allgemeinen Sprachverständnisses an riesigen Textmengen, vor dem Feintuning. 6
• Vorwärtsverkettung – Schließen von bekannten Fakten aus durch Anwenden aller passenden Regeln. 3

W

• Weltmodelle – Modelle, die Raum, Zeit und Physik lernen statt nur Text. 8
• Wissensakquisitions-Engpass – Fachleute können ihr Wissen nur zum Teil in Regeln fassen. 3
• Wissensbasis – Sammlung der Wenn-dann-Regeln eines Expertensystems. 3
• Word Embeddings – Darstellung von Wörtern als Vektoren, bei der verwandte Wörter nah beieinander liegen. 5

X

• XOR – Exklusives Oder: wahr, wenn genau eine von zwei Eingaben wahr ist; nicht linear trennbar. 2