Glossar Mathematik hinter der KI

Alle Fachbegriffe des Beitrags Die Geschichte der Mathematik hinter der KI in alphabetischer Reihenfolge. Die Zahl am Ende nennt den Abschnitt, in dem der Begriff eingeführt wird.

A

• Ableitung – die Steigung einer Kurve in einem Punkt, der Grenzwert der Sehnensteigungen; sagt, wie stark die Ausgabe auf einen kleinen Stups der Eingabe reagiert. Die Ableitung von x² ist 2x, die von eˣ ist eˣ. Newton (1665) und Leibniz (1675). 4
• Achsenabschnitt – die Stelle, an der eine Gerade die y-Achse schneidet, der Wert bei x = 0; beim Taxi der Grundpreis, in y = a·x + b das b. 2
• Adam – Verfahren von Kingma und Ba (2014), das die Schrittweite für jedes Gewicht einzeln aus gleitenden Durchschnitten seiner Gradienten anpasst; Standard für das Training großer Modelle. 7
• Aktivierungsfunktion – Funktion, die auf die gewichtete Summe eines Neurons angewendet wird und keine Gerade ist: die Stufe von 1943, die Sigmoid-Kurve, ReLU. Sie erlaubt Netzen, sich zu biegen. 9
• Algorithmus – Folge von Rechenschritten, die ohne Ermessen ausführbar ist, bei jedem Schritt eindeutig sagt, was als Nächstes zu tun ist, und nach endlich vielen Schritten anhält; das Wort stammt von al-Chwarizmis Namen, das älteste Beispiel von Euklid (um 300 v. Chr.). 1
• Approximationssatz – ein Netz mit einer genügend breiten verborgenen Schicht kann jede stetige Funktion beliebig genau nachbilden (Cybenko, Hornik, 1989); sagt nicht, wie breit und ob das Training die Gewichte findet. 11
• Attention – jedes Token bildet eine gewichtete Summe der Values aller Tokens, mit Gewichten aus Skalarprodukt seiner Query mit den Keys und Softmax; Bahdanau u. a. (2014), Vaswani u. a. (2017): softmax(Q·Kᵀ/√d)·V. 14
• automatisches Differenzieren – Software zeichnet beim Vorwärtsdurchlauf jede Rechnung auf und läuft die Aufzeichnung rückwärts ab, um alle Ableitungen zu liefern (Theano, TensorFlow, PyTorch); Linnainmaas Verfahren mit Komfort. 11

B

• Backpropagation – Verfahren, das die partiellen Ableitungen des Verlusts nach allen Gewichten in einem Rückwärtsdurchlauf berechnet, indem die Kettenregel vom Ende her angewendet wird; Linnainmaa (1970), Werbos (1974), Rumelhart, Hinton und Williams (1986). 11
• bedingte Wahrscheinlichkeit – Wahrscheinlichkeit eines Ereignisses, wenn ein anderes bekannt ist, P(A | B): eine Sechs, gegeben gerade, 1/3. 5
• Bias – die Konstante in einer gewichteten Summe, die Verschiebung, die auch bei lauter Nullen übrig bleibt; beim Schwellenwert-Neuron die negative Schwelle. 2
• Bit – Einheit der Information (Shannon, 1948): eine Ja-oder-Nein-Frage, der Gehalt eines Münzwurfs. 12
• Boolesche Algebra – Logik als Rechnung mit 0 und 1 (Boole, 1847/1854): „und“ ist A·B, „nicht“ ist 1 − A, „oder“ ist A + B − A·B; Shannon baute sie 1937 aus Schaltern. 9

D

• Dimension – Zahl der Komponenten eines Vektors; Einbettungen von GPT-3 haben 12.288. 8

E

• Einbettung – gelernter Vektor für ein Token, in dem Nähe Ähnlichkeit bedeutet und Beziehungen Richtungen sind (Bengio 2003, word2vec 2013: König − Mann + Frau ≈ Königin); englisch Embedding. 13
• Einbettungsmatrix – Tabelle mit einer Zeile je Token, deren Zeilen die Einbettungen sind; erste Schicht jedes Sprachmodells, bei GPT-3 617 Millionen Zahlen. 13
• Entropie – Erwartungswert der Überraschung einer Verteilung, das Maß ihrer Unvorhersehbarkeit (Shannon, 1948): faire Münze 1 Bit, Englisch etwa 1 Bit je Buchstabe. Untere Grenze für Vorhersage und Kompression. 12
• Epoche – ein Durchgang durch alle Trainingsdaten; große Sprachmodelle sehen die meisten Daten nur einmal. 7
• Erwartungswert – jeder Ausgang mit seiner Wahrscheinlichkeit gewichtet und addiert, der Durchschnitt auf lange Sicht (Huygens, 1657); eine gewichtete Summe, deren Gewichte zusammen 1 ergeben, wie die Attention. 5
• Eulersche Zahl – e = 2,718281828…, die Grenze von Bernoullis Zinseszins bei immer häufigerer Verzinsung (1683); Buchstabe von Euler (1731). Die Kurve eˣ hat in jedem Punkt die Steigung ihres eigenen Werts. 3
• Exponent – die Hochzahl einer Potenz; sie darf auch null, negativ oder ein Bruch sein: 2⁰ = 1, 2⁻¹ = ½, 2 hoch ½ = √2. 1
• exponentielles Wachstum – Wachstum, bei dem jeder gleiche Schritt um denselben Faktor vervielfacht, die Kurve y = 2ˣ oder y = eˣ; Zinseszins, Bakterien, Rechenleistung. 3

F

• Fehler – Unterschied zwischen der Vorhersage eines Modells und dem gemessenen Wert, auch Residuum; beim Training wird er quadriert und summiert. 6
• Fluch der Dimensionalität – Bellmans Wort (1957) dafür, dass sich mit jeder weiteren Eingabe die Zahl der möglichen Fälle vervielfacht und keine Datenmenge sie füllt. 13
• Funktion – Rechenvorschrift, die jeder Eingabe genau eine Ausgabe zuordnet, eine Maschine; Wort von Leibniz (1673), Schreibweise f(x) von Euler (1734). 2

G

• Gesetz der großen Zahlen – mit wachsender Zahl von Versuchen nähert sich der Anteil eines Ausgangs seiner Wahrscheinlichkeit (Jakob Bernoulli, 1713); erlaubt, Wahrscheinlichkeiten durch Zählen zu schätzen. 5
• Gewichte – die Multiplikatoren in einer gewichteten Summe; sie sagen, wie stark jede Eingabe zählt, null schaltet ab, negativ zieht ab. Die meisten Parameter eines Modells sind Gewichte. 2
• gewichtete Summe – jede Eingabe mit ihrer eigenen Zahl multipliziert, alles addiert, eine Konstante dazu; die häufigste Rechnung der KI, das Neuron von 1943, die Regression von 1900, das Skalarprodukt. 2
• gezogen – ein Ausgang wird nach den Wahrscheinlichkeiten einer Verteilung zufällig ausgewählt, wie ein Zettel aus einer Urne; so wählt ein Sprachmodell sein nächstes Token, weshalb es auf dieselbe Frage verschieden antwortet. 5
• Gleichung – Behauptung, dass zwei Rechnungen dasselbe ergeben; das Zeichen = stammt von Recorde (1557). Lösen heißt, die Rechnung rückwärts zu gehen, bis die Unbekannte allein steht (al-Chwarizmi, um 820). 1
• Grad – einer Gleichung: der höchste Exponent, mit dem die Unbekannte vorkommt; x² + 10x = 39 hat den Grad zwei. Bis zum vierten Grad gibt es Lösungsformeln, ab dem fünften nicht mehr (Abel, 1824). 1
• Gradient – die Liste aller partiellen Ableitungen des Verlusts, eine je Gewicht; zeigt in die Richtung, in der der Verlust am steilsten steigt. 7
• Gradientenverfahren – Cauchys Verfahren von 1847: Gradient berechnen, einen kleinen Schritt dagegen tun, wiederholen; der Algorithmus, mit dem jedes neuronale Netz trainiert wird, auch Gradientenabstieg. 7
• Graph – das Bild einer Funktion im Koordinatensystem: für jede Eingabe x der Punkt mit der Ausgabe y; bei einer linearen Funktion eine Gerade, bei x² die Parabel. 2
• Grenzwert – die Zahl, der sich eine Folge von Näherungen beliebig nähert, ohne sie erreichen zu müssen; Cauchy (1821) stellte die Ableitung darauf. 4

H

• Hebbsche Regel – erste Lernregel (Hebb, 1949): Verbindungen zwischen zugleich aktiven Zellen werden stärker, „was zusammen feuert, verdrahtet sich“. 9

K

• Kettenregel – Steigungen verketteter Funktionen multiplizieren sich: dy/dx = dy/du · du/dx (Leibniz). Grundlage von Backpropagation, wo die Kette hunderte Glieder hat. 4
• Key – Vektor, mit dem ein Token in der Attention gefunden wird; das Skalarprodukt Query·Key ist die Punktzahl. 14
• KL-Divergenz – Kreuzentropie minus Entropie, der Abstand zwischen zwei Verteilungen (Kullback und Leibler, 1951). 12
• Koordinaten – die zwei Zahlen, die einen Punkt in der Ebene festlegen, Abstand nach rechts und nach oben; Descartes (1637) und Fermat (1636). 2
• Koordinatensystem – x-Achse und y-Achse, auf denen die Koordinaten abgetragen werden; macht Geometrie zu Rechnung und Rechnung zu Bildern. 2
• Köpfe – mehrere Attention-Rechnungen nebeneinander mit eigenen Matrizen, die auf Verschiedenes achten können; GPT-3 hat 96 je Schicht. 14
• Korrelation – Zahl zwischen −1 und 1 für die Stärke eines linearen Zusammenhangs (Pearson, 1896): 1 bei einer steigenden Geraden, −1 bei einer fallenden, 0 ohne Steigung. 6
• Kosinus-Ähnlichkeit – Skalarprodukt geteilt durch beide Längen, eine Zahl zwischen −1 und 1, die nur von der Richtung abhängt; das Maß, mit dem Modelle Wörter und Sätze vergleichen. 8
• Kreuzentropie – mittlere Überraschung, wenn die Ausgänge nach der wahren Verteilung kommen, aber nach dem Modell bewertet werden; nie kleiner als die Entropie, gleich nur bei richtigem Modell. Die Verlustfunktion jedes Sprachmodells. 12

L

• Lernrate – die Schrittweite des Gradientenverfahrens, mit der die Ableitung multipliziert wird; zu klein kostet Zeit, zu groß springt über das Tal hinaus oder sprengt alles. 7
• Likelihood – die Wahrscheinlichkeit der beobachteten Daten unter einer Einstellung des Modells; Fisher (1921/1922): Man wähle die Einstellung, die sie am größten macht. Bei normalverteilten Fehlern ergibt das die kleinsten Quadrate, bei Sprachmodellen die Kreuzentropie. 6
• linear trennbar – Beispiele, die eine Gerade (oder Ebene) in die richtigen Klassen teilt; nur solche kann ein einzelnes Neuron lernen. XOR ist es nicht. 10
• lineare Funktion – Funktion der Form y = a·x + b, deren Graph eine Gerade ist; mit mehreren Eingaben eine gewichtete Summe. Kann sich nicht biegen. 2
• Logarithmus – die Frage nach dem Exponenten: Der Logarithmus von 8 zur Basis 2 ist 3, weil 2³ = 8. Macht aus Produkten Summen (Napier, 1614) und aus kleinen Zahlen große negative. 3
• Logits – die rohen Punktzahlen, die ein Modell für jedes mögliche nächste Token berechnet, bevor die Softmax daraus Wahrscheinlichkeiten macht. 3
• lokale Minima – Täler der Verlustlandschaft, die nicht das tiefste sind; das Gradientenverfahren kann darin stecken bleiben. Dass es bei großen Modellen trotzdem brauchbare Täler findet, ist Erfahrung, keine Theorie. 7

M

• Markow-Kette – Folge, in der jedes Glied nur vom vorigen abhängt; Markow (1913) zeigte an Puschkins Text, dass das Gesetz der großen Zahlen auch ohne Unabhängigkeit gilt. 13
• Matrix – Tabelle aus Zahlen mit Zeilen und Spalten, seit Cayley (1858) ein Rechengegenstand; Matrix mal Vektor ist ein Skalarprodukt je Zeile, also eine Schicht aus Neuronen. 8
• mehrschichtiges Perzeptron – Netz aus Eingabeschicht, einer oder mehreren verborgenen Schichten und Ausgabeschicht; Bauteil jeder Transformer-Schicht. 10
• Methode der kleinsten Quadrate – wählt die Gerade (oder andere Funktion), für die die Summe der quadrierten Fehler am kleinsten ist: ableiten, null setzen, lösen; Legendre (1805), Gauss (1809, nach eigener Angabe seit 1795). 6
• Mini-Batch – kleine zufällige Auswahl von Trainingsbeispielen, aus der der Gradient für einen Schritt geschätzt wird. 7
• Mittelwert – Summe der Werte geteilt durch ihre Anzahl; die beste Gerade geht durch den Punkt der beiden Mittelwerte. 6
• Modell – Rechenvorschrift mit einstellbaren Zahlen, die Daten beschreiben und Unbekanntes vorhersagen soll, von der Geraden durch fünf Punkte bis zum Sprachmodell. 6

N

• n-Gramm – Folge von n aufeinanderfolgenden Wörtern oder Zeichen; ein n-Gramm-Modell schätzt das nächste Wort durch Zählen, wie oft es auf die vorigen folgte, und scheitert an nie gesehenen Folgen. 13
• natürlicher Logarithmus – der Logarithmus zur Basis e, geschrieben ln: ln e = 1, ln 1 = 0, ln 2 ≈ 0,693, ln 0,01 ≈ −4,6. 3
• Negative Zahlen – Zahlen unter null, links von der Null auf der Zahlengeraden; Brahmagupta gab 628 die Rechenregeln (Schulden und Vermögen, minus mal minus ist plus). Etwa die Hälfte der Gewichte eines Sprachmodells ist negativ und bedeutet „zieh das ab“. 1
• Normalverteilung – die Glockenkurve, die entsteht, wenn viele kleine Zufallseinflüsse sich addieren (de Moivre 1733, Gauss 1809, Laplace 1810); Gauss’ Annahme über Messfehler, aus der die kleinsten Quadrate folgen. 5

O

• One-Hot – Darstellung eines Wortes als Vektor mit einer einzigen Eins unter lauter Nullen; trägt keine Ähnlichkeit, alle Skalarprodukte verschiedener Wörter sind null. 13

P

• Parameter – die einstellbaren Zahlen eines Modells, Gewichte und Bias; ein Sprachmodell von 2026 hat einige hundert Milliarden davon, und das Training ist der Versuch, sie zu bestimmen. 1
• partielle Ableitung – Ableitung nach einer von mehreren Eingaben, während die anderen festgehalten werden, geschrieben mit ∂; beim Training die Ableitung des Verlusts nach einem einzelnen Gewicht. 4
• Perplexität – 2 hoch Kreuzentropie: Ein Modell mit Perplexität 20 rät so gut, als wählte es jedes Wort unter 20 gleich wahrscheinlichen; Maß für Sprachmodelle seit den 1970er Jahren. 12
• Perzeptron – Rosenblatts lernendes Neuron (1957): Nach jedem Fehler wird die Eingabe zu den Gewichten addiert oder abgezogen; findet nach endlich vielen Korrekturen eine trennende Gerade, wenn es eine gibt (Novikoff, 1962). 10
• Potenz – eine Zahl mehrfach mit sich selbst multipliziert, geschrieben mit Hochzahl: x² = x·x, 2¹⁰ = 1024; Schreibweise von Descartes (1637). 1
• Produktregel – die Wahrscheinlichkeit einer Folge von Ereignissen ist das Produkt der bedingten Wahrscheinlichkeiten, P(A)·P(B | A)·P(C | A und B); so bewertet ein Sprachmodell einen Text Wort für Wort. 5

Q

• Quadrat – eine Zahl mal sich selbst, x² = x·x; die Rechnung heißt Quadrieren, ihre Umkehrung ist die Wurzel. 1
• Query – Vektor, mit dem ein Token in der Attention fragt, welche anderen Tokens für es wichtig sind; aus dem Tokenvektor mit einer gelernten Matrix berechnet. 14

R

• Regression – Anpassen einer Funktion an Daten durch kleinste Quadrate; Name nach Galtons „Regression zur Mitte“ (1886). Die multiple Regression von 1900 ist das künstliche Neuron mit gelösten statt ertasteten Gewichten. 6
• ReLU – Aktivierungsfunktion „alles unter null wird null, alles andere bleibt“, Steigung 1 oder 0; seit 2011 Standard, weil sie den Gradienten nicht schrumpfen lässt. 11
• Repräsentation – die Zahlen, in denen eine verborgene Schicht eine Eingabe darstellt; entstehen beim Training von selbst, etwa Generation und Familienzweig (1986) oder Wortvektoren. 11
• Residualverbindung – jede Schicht berechnet nur eine Änderung, die zur unveränderten Eingabe addiert wird, x + f(x) (He u. a., 2015); lässt den Fehler an jeder Schicht vorbei nach vorn und macht hunderte Schichten trainierbar. 11
• Rückwärtsdurchlauf – die Kettenregel vom Verlust zurück bis zum ersten Gewicht, wobei jede Schicht die von hinten erhaltene Zahl mit ihrer eigenen Steigung multipliziert und weiterreicht; kostet etwa so viel wie der Vorwärtsdurchlauf. 11

S

• Satz von Bayes – dreht die Bedingung um: P(Ursache | Beobachtung) = P(Beobachtung | Ursache) · P(Ursache) / P(Beobachtung); Bayes (1763), Laplace (1774). Mit Anzahlen statt Brüchen gerechnet leicht, mit Brüchen oft falsch. 5
• Schicht – Reihe von Neuronen, die alle dieselbe Eingabe sehen; als Rechnung eine Matrix mal den Eingabevektor, gefolgt von einer Aktivierungsfunktion. 8
• Schwellenwert-Neuron – Rechenelement von McCulloch und Pitts (1943): gewichtete Summe der Eingaben, Ausgabe 1, wenn sie eine Schwelle erreicht, sonst 0; rechnet mit passenden Gewichten „und“, „oder“ und „nicht“. 9
• Sigmoid-Funktion – σ(z) = 1/(1 + e⁻ᶻ), eine S-Kurve, die jede Zahl zwischen 0 und 1 drückt: σ(0) = 0,5, σ(2) ≈ 0,88; Verhulsts logistische Kurve (1838), seit 1986 Aktivierungsfunktion mit Steigung σ·(1 − σ). 3
• Skalarprodukt – Komponente mal Komponente, alles addiert, als Ergebnis eine Zahl: (1, 2, 0)·(2, 1, 1) = 4. Die gewichtete Summe als Vektorrechnung; groß bei gleicher Richtung, null bei senkrechten Pfeilen. 8
• Skalierungsgesetze – empirische Potenzgesetze (Kaplan u. a., 2020; Hoffmann u. a., 2022), nach denen der Verlust eines Sprachmodells mit Parametern, Daten und Rechenleistung glatt fällt; beschreiben, nicht erklären. 15
• Softmax – macht aus mehreren Punktzahlen Wahrscheinlichkeiten, die zusammen 1 ergeben: e hoch Punktzahl, geteilt durch die Summe; aus 2, 1, 0 werden 0,665, 0,245, 0,090. Name von Bridle (1989), Formel aus der Physik; letzte Rechnung jedes Sprachmodells. 3
• Steigung – Änderung der Ausgabe geteilt durch die Änderung der Eingabe, die sie bewirkt hat; bei einer Geraden überall gleich, in y = a·x + b das a. 2
• stochastisches Gradientenverfahren – Gradientenverfahren mit verrauschten Schätzungen aus Mini-Batches statt des Verlusts über alle Daten; führt nach Robbins und Monro (1951) trotzdem zum Minimum. 7

T

• Temperatur – Zahl, durch die die Punktzahlen vor der Softmax geteilt werden; klein macht die Verteilung schärfer, groß flacher. Die Einstellung, mit der Chatbots vorhersehbarer oder einfallsreicher werden. 3
• Tensor – Zahlentabelle mit mehr als zwei Richtungen, ein Stapel von Matrizen; Namensgeber von TensorFlow. 8
• Testdaten – zurückgehaltener Teil der Daten, an dem geprüft wird, ob das Modell auch Unbekanntes trifft; Schutz gegen Überanpassung. 6
• Token – Textstück, mit dem ein Modell rechnet, meist ein Wort oder Wortteil, gewonnen durch Verschmelzen häufiger Zeichenpaare (BPE); GPT-3 kennt 50.257. 13
• Transformer – Modell aus gestapelten Schichten mit Attention und mehrschichtigem Perzeptron, ohne Rückkopplung, das alle Tokens zugleich als Matrizen verarbeitet (Vaswani u. a., 2017); Bauart aller großen Sprachmodelle seit 2018. 14
• Transformer-Schicht – Attention mit mehreren Köpfen, gefolgt von einem mehrschichtigen Perzeptron, beide mit Residualverbindung und Normalisierung; GPT-3 stapelt 96 davon. 14
• transponieren – Zeilen und Spalten einer Matrix vertauschen, geschrieben Kᵀ; in der Formel des Transformers bedeutet Q·Kᵀ, dass alle Queries mit allen Keys Skalarprodukte bilden. 8

U

• Überanpassung – ein Modell lernt die Trainingsdaten auswendig statt den Zusammenhang und sagt Unbekanntes schlecht voraus, wie die Kurve durch alle fünf Punkte; englisch Overfitting. 6
• Überraschung – Informationsgehalt eines Ereignisses, log₂(1/p) Bit: Wahrscheinlichkeit ½ gibt 1 Bit, 1/1000 fast 10 Bit, 1 gibt 0 Bit. Je kleiner die Wahrscheinlichkeit, die ein Modell dem richtigen Wort gab, desto größer. 12

V

• Value – Vektor, den ein Token in der Attention beisteuert, wenn es gefunden wird; die Values werden mit den Softmax-Gewichten addiert. 14
• Variable – Buchstabe, der für eine Zahl steht, die man noch nicht kennt oder die sich ändern darf; Viète (1591) und Descartes (1637, x, y, z für Unbekannte). 1
• Vektor – Liste von Zahlen, als Punkt oder Pfeil im Raum lesbar: (3, 4) hat die Länge 5; Wort von Hamilton (1846), Rechnung in beliebig vielen Dimensionen bei Grassmann (1844). Einbettungen, Queries, Keys und Values sind Vektoren. 8
• verborgene Schicht – Neuronen zwischen Eingabe und Ausgabe eines Netzes, deren Werte man von außen nicht sieht; mit ihr lassen sich beliebig geformte Gebiete umzäunen, etwa XOR. 10
• Verlustfunktion – eine Zahl, die zusammenfasst, wie schlecht ein Modell zu den Daten passt, etwa die Summe der quadrierten Fehler oder die Kreuzentropie; das Training macht sie kleiner. In der KI kurz Verlust oder Loss. 6
• verschwindender Gradient – in tiefen Netzen mit Sigmoid-Kurve schrumpft das Produkt der Steigungen (höchstens 0,25 je Schicht) gegen null, die vorderen Schichten lernen nicht (Hochreiter, 1991); behoben durch ReLU, Residualverbindungen und Normalisierung. 11
• Verteilung – die Liste der Wahrscheinlichkeiten aller möglichen Ausgänge, zusammen 1; ein Sprachmodell gibt für jedes nächste Token eine Verteilung über seinen ganzen Wortschatz aus. 5
• Vorwärtsdurchlauf – Berechnung der Ausgabe und des Verlusts eines Netzes aus der Eingabe, Schicht für Schicht nach vorn. 11

W

• Wahrscheinlichkeit – Zahl zwischen 0 und 1 für ein Ereignis, bei gleich möglichen Fällen günstige geteilt durch alle: eine Sechs 1/6; Pascal und Fermat (1654). 5
• Wurzel – Umkehrung des Quadrierens: √9 = 3. Die meisten Wurzeln enden nie (√2 = 1,414213…) und werden durch Näherung so genau, wie man will, wie schon auf babylonischen Tafeln. 1

Z

• Zuschreibung – die Frage, welches Gewicht im Inneren eines Netzes wie viel Schuld am Fehler am Ende trägt; Antwort ist die partielle Ableitung, berechnet mit Backpropagation. 10