Die Geschichte der KI

Erstfassung 18. Oktober 2026, zuletzt geändert am 23. Oktober 2026 · Andreas Stockter

Künstliche Intelligenz (KI) ist der Sammelbegriff für Verfahren, mit denen Maschinen Aufgaben lösen, für die Menschen ihren Verstand brauchen: Sprache verstehen, Bilder erkennen, Schlüsse ziehen, planen.

Von Anfang an gab es dafür zwei Ideen. Nach der ersten schreiben Menschen der Maschine Regeln vor, nach der zweiten lernt die Maschine selbst aus Beispielen. Die zweite Idee hat sich durchgesetzt, brauchte aber drei Zutaten, die erst 2012 zusammenkamen: ein brauchbares Lernverfahren, sehr viele Beispiele und sehr schnelle Rechner. Die Geschichte der KI ist die Kette der Probleme und Lösungen auf dem Weg dorthin.

Dabei wandert der Begriff selbst. Sobald ein Verfahren zuverlässig funktioniert, gilt es nicht mehr als KI, sondern als Software: Schach, Rechtschreibprüfung, Navigation und Suchmaschinen haben diesen Weg genommen. Der Informatiker Larry Tesler fasste das in den Satz, KI sei das, was noch nicht gemacht worden sei. Dieser KI-Effekt erklärt, warum die Chronik Dinge als KI beschreibt, die heute niemand mehr so nennt.

Jeder Fachbegriff ist an der Stelle fett gesetzt, an der er erklärt wird, und wird erst danach verwendet. Ein Glossar führt alle Begriffe alphabetisch auf.

Inhalt: 1 Grundlagen · 2 Aufbruch und erster KI-Winter · 3 Expertensysteme und Backpropagation · 4 Statistisches Lernen · 5 Deep Learning · 6 Transformer · 7 Generative KI · 8 Folgen und Regeln · Die Kette in Kurzform · Zeitleiste · Weiterlesen · Quellen

1. Grundlagen (1943–1956)

Der Traum ist älter als die Technik. Das Wort Roboter prägte 1920 der tschechische Schriftsteller Karel Čapek in seinem Stück „R.U.R.“, nach dem tschechischen robota für Fronarbeit, für eine künstliche Maschine, die menschliche Arbeit verrichtet; am Ende des Stücks erheben sich die Roboter gegen ihre Schöpfer. Isaac Asimov formulierte 1942 in einer Erzählung die drei Robotergesetze: Ein Roboter darf keinen Menschen verletzen, muss Befehlen gehorchen und sich selbst schützen, in dieser Rangfolge. Beide Motive, die Rebellion und die Regeln gegen sie, begleiten das Fach bis zu den Alignment-Debatten der Gegenwart.¹

Drei Vorarbeiten gehen voraus. 1854 zeigt George Boole, dass sich logisches Schließen als Rechnen mit den Werten wahr und falsch schreiben lässt, die Grundlage jeder Schaltung. Um 1840 entwirft Charles Babbage eine mechanische Rechenmaschine, die nie fertig wird, und Ada Lovelace schreibt dafür das erste Programm. Ihr Einwand, eine Maschine könne nur tun, was man ihr befiehlt, und nichts Eigenes hervorbringen, wird Turing 1950 ausdrücklich beantworten. Und 1941 nimmt Konrad Zuse in Berlin die Z3 in Betrieb, den ersten funktionsfähigen programmgesteuerten Rechner, weitgehend unbemerkt von der Welt und im Krieg zerstört.

Vorbild war das Gehirn. Es besteht aus Nervenzellen, den Neuronen. Das menschliche Gehirn hat davon rund 86 Milliarden. Jede empfängt Signale von vielen anderen Zellen und sendet selbst ein Signal weiter, sobald sie stark genug angeregt wird. Man sagt, sie „feuert“.

1943 beschreiben Warren McCulloch und Walter Pitts ein künstliches Neuron, also eine mathematische Nachbildung.² Es bekommt mehrere Eingaben (jeweils 0 oder 1) und zählt sie zusammen. Erreicht die Summe einen festen Grenzwert, den Schwellenwert, gibt es eine 1 aus, sonst eine 0. Hemmende Eingaben können das Feuern verhindern.

Die beiden zeigen, dass sich daraus die drei Grundbausteine der Logik bauen lassen:

• UND gibt 1 aus, wenn beide Eingaben 1 sind.
• ODER gibt 1 aus, wenn mindestens eine Eingabe 1 ist.
• NICHT kehrt die Eingabe um.

In Zahlen: Ein UND-Neuron mit zwei Eingaben bekommt den Schwellenwert 2. Bei den Eingaben 1 und 1 ist die Summe 2, es feuert; bei 1 und 0 ist sie 1, es schweigt. Ein ODER-Neuron braucht nur den Schwellenwert 1, und NICHT entsteht aus einer hemmenden Eingabe.

Aus diesen drei Bausteinen besteht jede Rechnung eines Computers. Verbindet man viele künstliche Neuronen so, dass die Ausgabe des einen die Eingabe des nächsten ist, entsteht ein neuronales Netz, das jede logische Schaltung nachbilden kann.

Wie viel das bedeutet, zeigt ein Vergleich mit einer Idee von 1936. Der Mathematiker Alan Turing hatte damals die Turing-Maschine beschrieben: ein gedachtes Gerät, das ein Band mit Zeichen Feld für Feld liest, nach einer festen Regeltabelle überschreibt und sich dabei vor- oder zurückbewegt. So schlicht es ist, es kann alles berechnen, was sich überhaupt berechnen lässt. McCulloch und Pitts wiesen nach, dass ihr Netz einer Turing-Maschine gleichwertig ist. Ein Netz aus künstlichen Neuronen kann also im Prinzip alles, was ein Computer kann. In einem Punkt lagen die beiden allerdings falsch: Echte Neuronen kennen nicht nur „an“ und „aus“, ihr Verhalten ist weit vielschichtiger. Lernen konnte ihr Netz außerdem nicht: Welche Neuronen wie verbunden sind, musste ein Mensch festlegen.

Turings Idee prägte auch den Bau der ersten Rechner. Bei Maschinen wie dem britischen Colossus oder dem amerikanischen ENIAC steckte das Programm noch in der Verdrahtung. Wer eine andere Aufgabe rechnen wollte, musste Kabel umstecken. Turing und der Mathematiker John von Neumann, der Turings Arbeit kannte, entwarfen ab 1945 Rechner, die ihr Programm wie Daten im Speicher halten. Dieses gespeicherte Programm ist bis heute das Bauprinzip jedes Computers. Es macht aus einer Maschine für eine Aufgabe eine Maschine für beliebige Aufgaben, und erst damit wurde KI-Forschung überhaupt möglich.

Die Idee des Lernens liefert 1949 der Psychologe Donald Hebb. Er vermutet, dass die Verbindung zwischen zwei Nervenzellen stärker wird, wenn beide häufig gleichzeitig aktiv sind. Übertragen auf künstliche Neuronen bekommt jede Verbindung eine Stärke, eine Zahl, mit der das ankommende Signal multipliziert wird. Diese Zahl heißt Gewicht. Ein hohes Gewicht bedeutet, dass diese Eingabe viel zählt. Lernen heißt seitdem: Gewichte verändern.³ In Zahlen: Feuern zwei verbundene Neuronen gleichzeitig, wächst das Gewicht ihrer Verbindung um einen kleinen Betrag, etwa von 0,5 auf 0,6.

1950 fragt Turing, wie man überhaupt feststellen soll, ob eine Maschine intelligent ist. Sein Vorschlag ist der Turing-Test, von ihm selbst „Imitation Game“ genannt: Ein Mensch chattet schriftlich mit einem Unbekannten. Kann er nicht unterscheiden, ob er mit einem Menschen oder einer Maschine schreibt, gilt die Maschine als intelligent.⁴ Lovelaces Einwand begegnet Turing in derselben Arbeit: Maschinen überraschten ihre Programmierer ständig, und ob Menschen je etwas wirklich Neues hervorbrächten, sei ebenso unbewiesen. Der Test prüft nur das Verhalten. Ob die Maschine etwas versteht oder es nur überzeugend vortäuscht, kann er nicht entscheiden, und genau dieser Einwand begleitet die KI bis heute. Turing regt außerdem an, keine fertige Intelligenz zu programmieren, sondern eine Maschine wie ein Kind zu unterrichten.

Im selben Jahr untersucht Claude Shannon, der Begründer der Informationstheorie, wie ein Computer Schach spielen könnte. Er rechnet vor, dass es rund 10¹²⁰ mögliche Partien gibt. Alle Züge durchzurechnen ist damit selbst für den schnellsten denkbaren Rechner aussichtslos. Ein Programm braucht Heuristiken: Faustregeln, die aussichtslose Züge früh aussortieren, etwa „Gib nicht die Dame her“. Shannons Aufsatz wurde zur Vorlage für die Schachprogramme der folgenden Jahrzehnte.⁵

1956 laden John McCarthy, Marvin Minsky, Claude Shannon und Nathaniel Rochester zu einer Sommerkonferenz am Dartmouth College ein. In der Einladung gibt McCarthy dem Gebiet seinen Namen: „Artificial Intelligence“.⁶ Etwa zehn Forscher nehmen teil. Allen Newell, Cliff Shaw und Herbert Simon stellen dort den Logic Theorist vor, ein Programm, das mathematische Sätze beweist, sie also Schritt für Schritt aus Grundannahmen herleitet. Es fand Beweise für 38 Sätze aus den „Principia Mathematica“ von Russell und Whitehead, einem Standardwerk der Logik, darunter einen, der kürzer war als der im Buch.

Was daraus folgte: Zwei Forschungslinien starten parallel. Die eine setzt auf Logik und Regeln, die andere auf lernende Neuronen.

2. Aufbruch und erster KI-Winter (1956–1974)

Die Regel-Linie. Sie heißt symbolische KI. Ein Symbol ist ein Zeichen, das für etwas steht, etwa das Wort „Hund“ oder eine Schachfigur. Die Annahme lautet: Denken ist das Umformen von Symbolen nach Wenn-dann-Regeln, so wie man in der Algebra Gleichungen umformt.

Das wichtigste Werkzeug war das Suchverfahren. Beim Schach hat man in jeder Stellung viele mögliche Züge, auf jeden gibt es viele Antworten, und so weiter. Es entsteht ein verzweigter Baum von Möglichkeiten, den das Programm nach einem Weg zum Ziel durchsucht. Weil der Baum riesig ist, braucht es Shannons Heuristiken, die aussichtslose Zweige früh aussortieren.

Das ehrgeizigste Projekt dieser Linie war der General Problem Solver von Newell, Shaw und Simon (1957). Er sollte nicht ein Problem lösen, sondern jedes, und zwar so, wie Menschen es tun: Man vergleicht den jetzigen Zustand mit dem Ziel, benennt den Unterschied und sucht einen Schritt, der ihn verkleinert. Simons eigenes Beispiel: Ich will meinen Sohn zum Kindergarten bringen. Der Unterschied ist die Entfernung. Was überwindet sie? Das Auto. Das Auto springt nicht an. Was fehlt? Eine Batterie. Wer hat eine? Die Werkstatt. Die weiß aber nichts davon. Also anrufen. Jedes Teilziel wird so lange zerlegt, bis ein Schritt direkt ausführbar ist. Neu war, dass das Verfahren vom Problem getrennt war: Das Programm kannte nur die Methode, die Fakten und Regeln jedes Problems musste ein Mensch eintippen. In der Praxis funktionierte das nur bei klar umrissenen Aufgaben wie Logikbeweisen, Rätseln und Schach, weil schon ein Alltagsproblem wie die Fahrt zum Kindergarten in eine Flut von Nebenbedingungen zerfällt.

McCarthy schuf 1958 die Programmiersprache LISP, die auf das Verarbeiten von Symbollisten zugeschnitten war und jahrzehntelang die Sprache der KI-Forschung blieb. Im selben Jahr beschrieb er den „Advice Taker“, ein Programm, das Alltagsaufgaben wie die Fahrt zum Flughafen aus wenigen logischen Regeln ableiten sollte und dem man neue Regeln einfach hinzufügen könnte. Gebaut wurde es nie, aber die Idee, Wissen als Sammlung von Regeln abzulegen, kehrt in Abschnitt 3 wieder.

Dass Lernen auch in dieser Linie möglich war, zeigte Arthur Samuel bei IBM. Sein Dame-Programm von 1952 bewertete Stellungen mit einer Formel, deren Gewichte es durch Tausende Partien gegen sich selbst nachstellte, und spielte Anfang der 1960er Jahre besser als sein Autor. Samuel prägte dafür 1959 den Begriff maschinelles Lernen: Programme, die aus Erfahrung besser werden, statt für jede Situation programmiert zu sein.⁷

Bekannt wurde 1966 ELIZA von dem aus Berlin stammenden Joseph Weizenbaum, ein früher Chatbot, also ein Programm, mit dem man sich schriftlich unterhält. ELIZA suchte in der Eingabe nach Schlüsselwörtern und antwortete mit vorgefertigten Satzmustern. Auf „Ich bin traurig“ folgte etwa „Warum bist du traurig?“. Verstanden hat das Programm nichts, trotzdem hielten viele es für einfühlsam.⁸

Weizenbaums eigenes Beispiel von 1966, übersetzt:

Nutzerin: Männer sind alle gleich.
ELIZA: In welcher Weise?
Nutzerin: Sie nerven uns ständig mit irgendetwas.
ELIZA: Können Sie ein konkretes Beispiel nennen?
Nutzerin: Nun, mein Freund hat mich hergeschickt.
ELIZA: Ihr Freund hat Sie hergeschickt?
Nutzerin: Er sagt, ich sei oft deprimiert.
ELIZA: Es tut mir leid zu hören, dass Sie deprimiert sind.

Weizenbaum selbst erschrak darüber, wie bereitwillig Menschen dem Programm Verständnis zuschrieben, und wurde 1976 mit dem Buch „Die Macht der Computer und die Ohnmacht der Vernunft“ zum schärfsten Kritiker seines Fachs. Den Höhepunkt der symbolischen Sprachverarbeitung bildete 1970 SHRDLU von Terry Winograd, das in einer Welt aus Bauklötzen Anweisungen wie „Setze den roten Würfel auf den grünen Block“ verstand und Rückfragen stellte. Außerhalb der Klötzchenwelt funktionierte es nicht, und genau das war die Lehre.

Die Regel-Linie bekam auch einen Körper. Am Stanford Research Institute entstand von 1966 bis 1972 Shakey, der erste mobile Roboter, der seine Handlungen selbst plante. Shakey erfasste den Raum mit einer Kamera, baute daraus eine Beschreibung aus Symbolen und suchte darin mit Suchverfahren nach einem Weg zum Ziel. Für eine Aufgabe wie „Schiebe den Block von der Rampe“ brauchte er Stunden. Sein Planungsprogramm STRIPS (1971), das ein Ziel in Teilziele zerlegt und für jedes die passende Handlung sucht, wurde zum Vorbild aller späteren Planer.⁹ Aus dem Projekt stammen der Suchalgorithmus A*, der bis heute in Navigationsgeräten steckt, und die Lehre, dass die wirkliche Welt viel unordentlicher ist als ein Schachbrett.¹⁰

Die Lern-Linie. 1958 stellt Frank Rosenblatt das Perzeptron vor, ein künstliches Neuron, das seine Gewichte selbst einstellt.¹¹ Um zu verstehen, was es kann, braucht man vier Schritte.

Klasse. Das Perzeptron soll sortieren. Es bekommt ein Beispiel und entscheidet, in welche Kategorie es gehört, etwa „Katze“ oder „Hund“. Jede Kategorie heißt Klasse, das Sortieren heißt Klassifikation. Ein einzelnes Perzeptron kennt zwei Klassen, weil es nur 1 oder 0 ausgeben kann.

Training. Man zeigt dem Perzeptron viele Beispiele, bei denen die richtige Klasse bekannt ist. Liegt es falsch, verstellt es seine Gewichte ein kleines Stück in die richtige Richtung. Dieses Üben heißt Training, die Beispielsammlung heißt Trainingsdaten. Weil die richtige Antwort jedes Mal mitgeliefert wird, spricht man von überwachtem Lernen. Das Ergebnis, also die Rechenvorschrift mit ihren fertig eingestellten Gewichten, nennt man Modell. Der Sinn des Trainings ist nicht, die Beispiele zu behalten, sondern auch Tiere richtig einzuordnen, die das Modell nie gesehen hat. Diese Fähigkeit heißt Generalisierung.

Beispiele als Punkte. Das Perzeptron sieht nur Zahlen. Bekommt es pro Tier zwei Zahlen, Körperlänge und Schulterhöhe, lässt sich jedes Tier als Punkt auf ein Blatt zeichnen: nach rechts die Länge, nach oben die Höhe. Hauskatzen bilden eine Punktwolke unten links, Schäferhunde eine oben rechts.

Die Trennlinie. Das Perzeptron multipliziert jede Zahl mit ihrem Gewicht, addiert die Ergebnisse und prüft, ob die Summe den Schwellenwert erreicht. Auf dem Blatt entspricht das einer geraden Linie: Punkte auf der einen Seite bekommen die 1, die auf der anderen die 0. Weil nur multipliziert und addiert wird, ist die Grenze immer gerade und nie gekrümmt. Training heißt, diese Linie zu drehen und zu verschieben, bis sie passt. Ein Lernschritt in Zahlen: Die Gewichte stehen auf 0,5 und 0,5, und ein Schäferhund mit Länge 1 und Höhe 1 landet fälschlich auf der Katzenseite. Dann erhöht das Perzeptron jedes Gewicht um Schrittweite mal Eingabe, hier 0,1 × 1, auf 0,6 und 0,6. Die Linie kippt ein Stück zur richtigen Seite, und nach vielen solchen Schritten passt sie.

Die Grenzen. Beide Linien scheitern, aus verschiedenen Gründen.

Die symbolische KI scheitert an der kombinatorischen Explosion: Die Zahl der Möglichkeiten vervielfacht sich mit jedem Schritt. Bei rund 30 möglichen Zügen pro Schachstellung sind es nach zwei Zügen 900 Möglichkeiten, nach vier 810.000 und nach zehn etwa 590 Billionen. Was in kleinen Übungswelten funktionierte, war in der echten Welt nicht mehr durchrechenbar.

Um 1971 lieferte die Theorie der NP-Vollständigkeit die Erklärung: Es gibt ganze Klassen von Aufgaben, bei denen der Rechenaufwand mit der Größe der Aufgabe so steil wächst, dass kein noch so schneller Rechner sie in absehbarer Zeit löst. Das Problem lag also nicht an langsamen Maschinen, sondern an den Aufgaben selbst. Denselben Befund, dass menschliches Wissen selten in scharfe Regeln passt, hatte Lotfi Zadeh schon 1965 mit der Fuzzy-Logik beantwortet, die mit Abstufungen wie „ziemlich warm“ rechnet statt nur mit wahr und falsch.¹²

Von außen kam Kritik, die das Fach lange nicht hören wollte. Der Philosoph Hubert Dreyfus bestritt schon 1965 in einem Gutachten für die RAND Corporation, dass Denken im Umformen von Symbolen besteht, und führte das 1972 in seinem Buch „What Computers Can’t Do“ aus: Menschen handeln aus einem Hintergrund von Körper, Erfahrung und Alltagswissen, der sich nicht vollständig in Regeln fassen lässt, und genau dieser Hintergrund fehlt einem Programm. Die Forscher taten ihn als Außenseiter ab. Die Expertensysteme des nächsten Abschnitts scheiterten dann an genau dem Punkt, den er benannt hatte.¹³

Das Perzeptron scheitert an seiner geraden Linie. Eine Aufgabe heißt linear trennbar, wenn eine einzige Gerade alle Beispiele der einen Klasse von allen der anderen trennt. Katzen und Schäferhunde sind es. Marvin Minsky und Seymour Papert zeigen 1969, dass schon eine sehr einfache Aufgabe es nicht ist.¹⁴

Nimm eine Lampe mit zwei Schaltern A und B, jeder steht auf 0 oder 1. Das ergibt vier Fälle, also vier Punkte an den Ecken eines Quadrats. Die Klassen sind „an“ und „aus“. Bei der Regel UND brennt die Lampe nur, wenn beide Schalter auf 1 stehen:

Der einzige „an“-Punkt sitzt in einer Ecke, und eine schräge Linie schneidet sie ab. Das kann ein Perzeptron lernen.

Anders ist es bei XOR („exklusives Oder“), wie bei einer Wechselschaltung im Flur. Die Lampe brennt, wenn genau ein Schalter auf 1 steht:

Die „an“-Punkte liegen sich diagonal gegenüber. Egal wie man eine einzelne Gerade legt, mindestens ein Punkt landet auf der falschen Seite. Man braucht zwei Linien, also zwei Neuronen, und ein drittes, das deren Ergebnisse zusammenführt. Die Neuronen stehen dann hintereinander in Schichten: Die Ausgaben der ersten Schicht sind die Eingaben der nächsten.

Hier lag das Dilemma. Rosenblatts Lernregel funktioniert nur, wenn man für ein Neuron die richtige Ausgabe kennt. Für die letzte Schicht kennt man sie, für die Neuronen davor nicht. Niemand wusste, wie man diese trainiert.

Die großen Versprechen der Anfangsjahre blieben unerfüllt, und Gutachten in den USA (der ALPAC-Bericht 1966, der die maschinelle Übersetzung für gescheitert erklärte) und Großbritannien (der Lighthill-Bericht 1973) fielen sehr kritisch aus. Fördergelder wurden gestrichen. Eine solche Phase aus Enttäuschung und Geldmangel nennt man KI-Winter.

Was daraus folgte: Programme, die jedes beliebige Problem lösen sollten, waren gescheitert. Allgemeine Verfahren ohne Wissen über das jeweilige Gebiet, später spöttisch „schwache Methoden“ genannt, lieferten schwache Ergebnisse. Also verengte man den Anspruch auf einzelne Fachgebiete und baute dort möglichst viel Wissen ein.

3. Expertensysteme und Backpropagation (1980er)

Expertensysteme. Ein Expertensystem soll in einem engen Gebiet so entscheiden wie ein menschlicher Experte. Es hat zwei Teile:

• Die Wissensbasis enthält Hunderte bis Tausende Wenn-dann-Regeln, die man Fachleuten in Interviews abgefragt hat, etwa „Wenn der Kunde Rechner X bestellt, dann braucht er Netzteil Y“.
• Die Inferenzmaschine ist das Programm, das diese Regeln aneinanderreiht und so von den bekannten Fakten zu einer Schlussfolgerung kommt.

Das erste war DENDRAL, ab 1965 in Stanford von Edward Feigenbaum, Bruce Buchanan und dem Nobelpreisträger Joshua Lederberg entwickelt. Es leitete aus den Messdaten eines Massenspektrometers die Struktur eines Moleküls ab, eine Aufgabe, für die Chemiker Jahre Erfahrung brauchen. Den Anstoß gab die NASA, die die chemische Zusammensetzung der Marsoberfläche auswerten wollte. Der Trick war, das Lehrbuchwissen in konkrete Rezepte zu übersetzen: „Wenn das Spektrum diese Spitzen zeigt, dann enthält das Molekül diese Gruppe.“ Mit DENDRAL kehrte sich die Denkrichtung der KI um. Nicht ein allgemeines Verfahren war der Schlüssel, sondern möglichst viel Wissen über ein enges Gebiet.

MYCIN schlug in Tests mit rund 600 Regeln Diagnosen für bakterielle Infektionen vor. XCON prüfte und vervollständigte beim Computerhersteller DEC Bestellungen und sparte Millionen. PROSPECTOR half Geologen bei der Suche nach Erzlagerstätten. KI wurde zum ersten Mal ein Geschäft.

Den Boom befeuerte 1982 Japans Fifth-Generation-Projekt, ein Staatsprogramm, das binnen zehn Jahren Rechner bauen wollte, die in Logik denken und sprechen, aufgebaut auf der Logiksprache Prolog. Die USA und Europa antworteten mit eigenen Programmen, Deutschland 1988 mit der Gründung des DFKI in Kaiserslautern und Saarbrücken, bis heute eines der größten KI-Forschungsinstitute. Die Sprache der Expertensysteme war neben LISP das 1972 in Marseille entwickelte Prolog, in dem man Fakten und Regeln hinschreibt und die Inferenzmaschine gleich mitgeliefert bekommt.

Die Inferenzmaschine kann in zwei Richtungen arbeiten. Bei der Vorwärtsverkettung geht sie von den bekannten Fakten aus, wendet jede passende Regel an und sammelt, was daraus folgt. Bei der Rückwärtsverkettung beginnt sie beim vermuteten Ergebnis und prüft, welche Regeln es stützen und ob deren Voraussetzungen erfüllt sind. Fehlt ein Fakt, fragt sie den Benutzer. MYCIN arbeitete rückwärts: Für jede von rund 100 möglichen Diagnosen suchte es nach Laborwerten und Beobachtungen, die sie belegen.

In der Wissensbasis steckt zweierlei: Faktenwissen, wie es in Lehrbüchern steht, und heuristisches Wissen, die Erfahrungsregeln, die ein Experte erst in Jahren der Praxis erwirbt. Für größere Zusammenhänge schlug Minsky 1974 Frames vor, Datenstrukturen, die alle Eigenschaften eines Begriffs bündeln und von Oberbegriffen erben: Ein Pferd „ist ein“ Säugetier, „kann“ laufen, „hat“ vier Beine.

Weil medizinische Schlüsse selten sicher sind, bekam in MYCIN jede Regel einen Sicherheitsfaktor zwischen 0 und 1, und das Programm verrechnete die Faktoren entlang der Beweiskette. Eine echte Regel lautete: Wenn der Erreger gramnegativ, stäbchenförmig und anaerob ist, dann ist er mit Sicherheit 0,6 ein Bacteroides. Werte unter 0,2 galten als null. Die saubere Alternative, der Satz von Bayes aus der Wahrscheinlichkeitsrechnung, scheiterte in der Praxis daran, dass man dafür viele Einzelwahrscheinlichkeiten kennen muss, die niemand hatte. Ein Vorzug blieb allen diesen Systemen: Jede Entscheidung ließ sich über die angewandten Regeln Schritt für Schritt nachvollziehen.

Vier Probleme beendeten den Boom:

• Der Wissensakquisitions-Engpass: Fachleute können ihr Wissen nur zum Teil in Regeln fassen. Vieles wissen sie aus Erfahrung, ohne es erklären zu können.
• Mit jeder neuen Regel wuchs die Gefahr von Widersprüchen, und die Pflege wurde teuer.
• Die Systeme waren spröde. Bei einem Fall, den keine Regel vorsah, versagten sie völlig, weil ihnen das Alltagswissen fehlte, mit dem Menschen Lücken überbrücken.
• Die Systeme konnten nicht lernen. Jede neue Erkenntnis musste von Hand als Regel eingetragen und das Regelwerk danach auf Widersprüche geprüft werden.

Um 1987 brach der Markt ein. Die teuren Lisp-Maschinen, Spezialrechner für KI-Programme, wurden von gewöhnlichen Arbeitsplatzrechnern überholt, die Expertensystem-Firmen verschwanden, und der zweite KI-Winter begann. Japans Projekt lief 1992 ohne greifbares Ergebnis aus.

Die Kritiker. Aus dieser Zeit stammen zwei Einwände, die das Fach bis heute begleiten. Der Philosoph John Searle beschrieb 1980 das Chinesische Zimmer: Ein Mensch, der kein Chinesisch kann, sitzt in einem Raum und beantwortet chinesische Fragen, indem er die Zeichen in einem Regelbuch nachschlägt und nach dessen Vorschriften zusammensetzt. Von außen wirken die Antworten verständig, doch der Mensch im Raum versteht kein Wort. Ein Programm, so Searle, tue nichts anderes: Es formt Symbole um, ohne ihre Bedeutung zu kennen. Für die Behauptung, ein passend programmierter Rechner habe tatsächlich einen Geist, prägte er den Begriff starke KI, im Unterschied zur schwachen KI, die intelligentes Verhalten für bestimmte Aufgaben nur nachbildet.¹⁵ Der Robotiker Hans Moravec hielt 1988 fest, was seither Moravecsches Paradox heißt: Was Menschen schwerfällt, etwa Schach oder Algebra, ist für Rechner leicht, und was jedes Kind beherrscht, etwa Sehen, Greifen und Gehen, ist für Rechner extrem schwer. Seine Erklärung: Sinne und Bewegung hat die Evolution über Hunderte Millionen Jahre geschliffen, das abstrakte Denken ist erst wenige Zehntausend Jahre alt.¹⁶ Beide Einwände erklären im Rückblick, warum Expertensysteme am Alltagswissen scheiterten und warum Roboter so viel langsamer vorankamen als Schachprogramme.

Die neuronalen Netze waren derweil nicht tot. 1982 stellte der Physiker John Hopfield ein Netz vor, das Muster als Ganzes speichert und aus einem beschädigten Bruchstück wieder vervollständigt, ein assoziatives Gedächtnis.¹⁷ Es holte Physiker in das Feld und brachte ihm Ansehen zurück. Minsky, der 1969 die Perzeptron-Forschung gebremst hatte, legte 1986 mit „The Society of Mind“ eine Theorie vor, nach der Intelligenz aus dem Zusammenspiel vieler einfacher, für sich genommen dummer Einheiten entsteht.

Backpropagation. Zur selben Zeit wurde das Rätsel von 1969 gelöst: Wie trainiert man ein Netz mit mehreren Schichten? Die Schichten zwischen Eingabe und Ausgabe heißen verborgene Schichten, weil niemand vorgeben kann, was ihre Neuronen ausgeben sollen.

Zwei Dinge waren nötig. Erstens braucht man ein Maß dafür, wie falsch das Netz liegt. Das ist der Fehler, eine Zahl, die umso größer ist, je weiter die Ausgabe von der richtigen Antwort abweicht. Zum Beispiel: Gibt das Netz 0,73 aus und richtig wäre 1, beträgt der Fehler (1 − 0,73)² = 0,07; bei einer Ausgabe von 0,2 wären es 0,64.

Zweitens wurde das Neuron leicht verändert. Es springt nicht mehr hart zwischen 0 und 1, sondern gibt einen fließenden Wert aus, zum Beispiel 0,73. Die Regel, die aus der gewichteten Summe diesen Ausgabewert macht, heißt Aktivierungsfunktion. So bewirkt eine kleine Änderung an einem Gewicht eine kleine Änderung am Fehler statt eines plötzlichen Sprungs.

Backpropagation („Rückwärtsausbreitung“) verbindet beides. David Rumelhart, Geoffrey Hinton und Ronald Williams machen das Verfahren 1986 bekannt, nachdem Paul Werbos es 1974 in seiner Doktorarbeit schon einmal beschrieben hatte, ohne Beachtung zu finden. Noch früher, 1965, hatte Alexey Ivakhnenko in Kiew mehrschichtige Netze Schicht für Schicht trainiert, ein Verfahren, das erst Jahrzehnte später gewürdigt wurde.^{18, 19} Nach jedem Beispiel rechnet man von der Ausgabe aus rückwärts, Schicht für Schicht, für jedes einzelne Gewicht aus, welchen Anteil es am Fehler hatte. Das ist, als würde man in einer Fertigungsstraße einen Mangel am Endprodukt Station für Station zurückverfolgen.

Für jedes Gewicht erhält man so eine Angabe, in welche Richtung und wie stark sich der Fehler ändert, wenn man das Gewicht etwas erhöht. Alle diese Angaben zusammen heißen Gradient. Dann verstellt man jedes Gewicht einen kleinen Schritt in die Richtung, die den Fehler senkt. Dieses Vorgehen heißt Gradientenabstieg und wird millionenfach wiederholt. Man kann es sich wie einen Abstieg im Nebel vorstellen: Man sieht das Tal nicht, geht aber bei jedem Schritt dorthin, wo es am steilsten bergab geht. Die Schrittweite heißt Lernrate. Mit einer Lernrate von 0,1 wird jedes Gewicht um ein Zehntel seines Gradienten verändert. Zu klein, und das Training dauert ewig; zu groß, und es springt über das Tal hinaus.

Die verborgenen Schichten entwickeln im Training von selbst Erkenner für nützliche Eigenschaften der Daten, bei Bildern etwa für Kanten oder Rundungen. Solche Eigenschaften heißen Merkmale.

Bilder erkennen. Yann LeCun wendet Backpropagation 1989 auf Bilder an. Ein digitales Bild besteht aus Bildpunkten, den Pixeln, jeder mit einem Helligkeitswert. Sein Convolutional Neural Network (CNN), auf Deutsch faltendes Netz, arbeitet mit Filtern. Das sind kleine Musterschablonen von wenigen Pixeln Größe, die über das ganze Bild wandern und melden, wo ihr Muster vorkommt, etwa eine senkrechte Kante.

Die nächste Schicht sucht in diesen Meldungen nach Kombinationen, denn Kanten ergeben Ecken und Bögen. Die übernächste sucht nach ganzen Formen. Zwischen den Filterschichten liegt jeweils eine Pooling-Schicht, die das Bild verkleinert, indem sie aus einer kleinen Nachbarschaft von Pixeln nur den stärksten Wert behält. So wird das Bild von Schicht zu Schicht gröber und abstrakter, bis die letzte Schicht das ganze Bild zusammenfasst. Welche Muster die Filter suchen, lernt das Netz selbst. Das System las handgeschriebene Postleitzahlen und später Schecks.²⁰

Selbst ausprobieren. Der TensorFlow Playground zeigt im Browser ein kleines Netz beim Training: Man wählt die XOR-Daten aus Abbildung 3, fügt eine verborgene Schicht hinzu und sieht zu, wie die Trennlinie sich krümmt und der Fehler sinkt. ELIZA läuft bis heute als Webseite, und ein Perzeptron samt Lernregel passt in zehn Zeilen Python. Wer Expertensysteme nachbauen will, findet in CLIPS, 1985 bei der NASA entstanden, eine frei verfügbare Regelmaschine.²¹

Was daraus folgte: Das Verfahren war da, der Durchbruch blieb aus. Die Rechner waren zu langsam und die Beispielsammlungen zu klein. Dazu kam ein Hindernis, das Sepp Hochreiter 1991 analysierte, das Problem des verschwindenden Gradienten.²² Die Information über den Fehler, die Backpropagation von hinten nach vorn durchreicht, wird in jeder Schicht mit kleinen Zahlen multipliziert und schrumpft. Bei vielen Schichten kommt vorne fast nichts mehr an, und die vorderen Schichten lernen nicht. Netze mit vielen Schichten, sogenannte tiefe Netze, blieben vorerst untrainierbar.

4. Statistisches Lernen (1990er–2000er)

Die Forschung wendet sich Verfahren zu, die mit weniger Beispielen und weniger Rechenaufwand auskommen. Der Oberbegriff für alles, was aus Beispielen lernt, statt programmiert zu werden, ist Samuels maschinelles Lernen. Neuronale Netze sind eine Familie davon, damals aber nicht die erfolgreichste. Verbreitet waren:

• Bayes’sche Netze bilden ab, wie stark Dinge voneinander abhängen, und rechnen mit Wahrscheinlichkeiten statt mit sicheren Regeln. Eine nasse Straße spricht für Regen, kann aber auch vom Rasensprenger kommen. Judea Pearl, der sie in den 1980er Jahren entwickelte, erhielt dafür 2011 den Turing Award.
• Hidden-Markov-Modelle beschreiben eine Folge von Zuständen, die man nicht direkt sieht, sondern nur über ihre Wirkungen, etwa die Laute hinter einem Schallsignal. Von den 1980er Jahren bis 2012 waren sie das Rückgrat jeder Spracherkennung, bevor tiefe Netze sie ablösten.²³
• Support Vector Machines suchen wie das Perzeptron eine Trennlinie zwischen zwei Klassen, aber gezielt diejenige mit dem größten Abstand zu den nächstgelegenen Punkten beider Seiten. Ein mathematischer Trick erlaubt ihnen auch gekrümmte Grenzen.
• Ein Entscheidungsbaum ist eine Folge von Ja/Nein-Fragen, die zu einer Entscheidung führt. Ein Random Forest lässt viele unterschiedliche Bäume abstimmen.
• Der Nächste-Nachbarn-Algorithmus vergleicht ein neues Beispiel schlicht mit den ähnlichsten bekannten Beispielen und übernimmt deren Klasse.

Nicht immer gibt es richtige Antworten. Beim unüberwachten Lernen bekommt das Verfahren nur die Daten und sucht darin selbst nach Struktur, etwa nach Gruppen ähnlicher Kunden oder nach wiederkehrenden Mustern in astronomischen Messungen.

Der Preis dieser Verfahren war das Feature Engineering (Feature ist das englische Wort für Merkmal). Menschen mussten sich ausdenken und programmieren, welche Merkmale aus den Rohdaten berechnet werden, bei E-Mails zum Beispiel die Zahl der Ausrufezeichen. Die Qualität hing am Einfallsreichtum der Entwickler. In der Bilderkennung hießen solche handgemachten Merkmale Deskriptoren, etwa SIFT und SURF: Verfahren, die Kanten, Ecken und auffällige Flecken in einem Bild aufspüren und als Zahlenliste beschreiben, die dann eine Support Vector Machine einordnet. Ob die gewählten Merkmale die richtigen waren, blieb Vermutung.

Das erste Massenprodukt dieser Verfahren war unscheinbar: Ab 1998 sortierten statistische Spamfilter unerwünschte E-Mails aus, indem sie aus Millionen markierter Nachrichten lernten, welche Wörter verdächtig sind. Die Rechnung dahinter ist der Satz von Bayes aus dem MYCIN-Absatz. Steht das Wort „gratis“ in 40 Prozent der Spam-Mails, aber nur in 1 Prozent der normalen, und sind beide Sorten gleich häufig, dann ist eine Mail mit „gratis“ zu 40 / (40 + 1) = 97,6 Prozent Spam. Mit jedem weiteren Wort wird die Schätzung schärfer.

Fast alle Verfahren dieses Abschnitts stecken bis heute in scikit-learn, einer 2007 begonnenen freien Python-Bibliothek, die zum Standardwerkzeug für maschinelles Lernen ohne tiefe Netze wurde.²⁴

Deep Blue. 1997 schlägt der IBM-Rechner Deep Blue den Schachweltmeister Garri Kasparow. Gelernt hat er kaum. Er durchsuchte 200 Millionen Stellungen pro Sekunde und schätzte jede mit einer von Menschen geschriebenen Formel ein. Es war der späte Triumph der Suchverfahren und ein Hinweis darauf, wie viel reine Rechengeschwindigkeit bewirkt.

Fahren lernen. 2004 schreibt die amerikanische Forschungsagentur DARPA ein Rennen für fahrerlose Autos durch die Wüste aus. Kein Fahrzeug kommt weiter als zwölf Kilometer. 2005 erreichen fünf das Ziel, als Erstes Stanley vom Team um Sebastian Thrun in Stanford, das die Straße mit statistischen Lernverfahren aus Laserdaten und Kamerabildern erkannte. Aus dem Team ging 2009 Googles Projekt für selbstfahrende Autos hervor, das heutige Waymo. Im Alltag blieben Roboter dagegen einfach: Der Staubsaugroboter Roomba (2002) fuhr nach festen Regeln, und Hondas Humanoid ASIMO (2000) stieg Treppen, aber nur in vorbereiteter Umgebung. Moravecs Paradox aus Abschnitt 3 galt weiter.

Gedächtnis für Sprache. Text und gesprochene Sprache sind Sequenzen, also Daten, bei denen es auf die Reihenfolge ankommt. Ein rekurrentes neuronales Netz (RNN) liest eine Sequenz Element für Element und führt dabei ein Gedächtnis mit: eine Liste von Zahlen, die zusammenfasst, was bisher kam, und nach jedem Element aktualisiert wird. Beim Training tritt hier wieder der verschwindende Gradient auf, diesmal über die Zeitschritte. Das Netz vergisst, was mehr als ein paar Wörter zurückliegt.

Hochreiter und Jürgen Schmidhuber lösen das 1997 mit dem LSTM (Long Short-Term Memory, „langes Kurzzeitgedächtnis“). Es hat eine Speicherzelle und Tore, kleine lernende Schalter, die bei jedem Schritt entscheiden, was neu gespeichert, was behalten und was ausgegeben wird. So bleibt Information über Hunderte von Schritten erhalten. Darauf beruhten später Spracherkennung und maschinelle Übersetzung.²⁵

Zugleich arbeitete eine kleine Gruppe gegen den Trend weiter an neuronalen Netzen, gefördert von einem kanadischen Institut, das Hinton, Bengio und LeCun zusammenbrachte. 2006 zeigte Hinton, wie sich ein tiefes Netz Schicht für Schicht vortrainieren lässt, sodass das Problem des verschwindenden Gradienten umgangen wird.²⁶ Er gab dem Ansatz einen neuen Namen: Deep Learning, das Lernen in tiefen Netzen. Der Begriff war ein Neustart für ein Verfahren, das viele für erledigt hielten.

Die fehlenden Zutaten entstehen.

• Daten. Das Internet liefert Texte und Bilder in nie dagewesener Menge. Überwachtes Lernen braucht aber Beispiele mit richtiger Antwort. Die Informatikerin Fei-Fei Li lässt deshalb Millionen Fotos von Hand mit der richtigen Klasse beschriften und veröffentlicht sie 2009 als ImageNet.²⁷ Ab 2010 gibt es dazu einen jährlichen Wettbewerb, bei dem Forschungsgruppen ihre Bilderkennung an denselben Fotos messen.
• Rechenleistung. Gemeint ist, wie viele Rechenschritte ein Computer pro Sekunde schafft. Ein normaler Prozessor erledigt komplizierte Aufgaben nacheinander. Ein Grafikprozessor, die GPU, wurde für Videospiele gebaut und hat Tausende einfacher Rechenwerke, die gleichzeitig arbeiten. Das Training neuronaler Netze besteht aus unzähligen gleichartigen Multiplikationen und Additionen, die sich so verteilen lassen. Um 2009 zeigt sich, dass GPUs das Training um ein Vielfaches beschleunigen.

Watson. Was mit großen Datenmengen und schneller Hardware schon vor dem Deep Learning möglich war, zeigt IBM 2011: Das System Watson schlägt in der Quizshow „Jeopardy!“ die beiden besten menschlichen Spieler. Es verstand die Fragen in natürlicher Sprache, durchsuchte Millionen Dokumente, bewertete Hunderte Antwortkandidaten mit statistischen Lernverfahren und antwortete in Sekunden. Um diese Zeit verlässt die KI die Labore: Spracherkennung, Übersetzung und Empfehlungssysteme werden Alltag.

Was daraus folgte: Lernverfahren (Backpropagation, CNN), Daten (ImageNet) und Rechenleistung (GPUs) lagen jetzt gleichzeitig auf dem Tisch.

5. Deep Learning (2012–2016)

Deep Learning ist das Training tiefer Netze, also solcher mit vielen Schichten. Ihr Vorteil: Sie lernen ihre Merkmale stufenweise selbst, vorne Kanten, dahinter Muster, dann Teile wie Augen oder Räder, am Ende ganze Objekte. Das Feature Engineering entfällt. Der Preis dafür: Nach dem Training kann niemand mehr genau sagen, welche Merkmale das Netz für seine Entscheidung benutzt. Was ein Expertensystem Regel für Regel offenlegte, steckt hier in Millionen von Gewichten. Man spricht von einer Black Box, und dieser Vorwurf begleitet das Deep Learning seitdem.

Katzen. Im Juni 2012 lässt ein Team um Andrew Ng und Jeff Dean bei Google ein Netz drei Tage lang auf 10 Millionen Standbildern aus YouTube-Videos laufen, verteilt auf 16.000 Prozessorkerne und ohne jede Beschriftung. Das Netz bildete von selbst Neuronen aus, die auf menschliche Gesichter, Körper und Katzen ansprachen, unüberwachtes Lernen im großen Maßstab. Das Experiment machte Schlagzeilen, auch weil es bestätigte, was das Internet am liebsten postet.²⁸

Der Durchbruch. 2012 tritt AlexNet im ImageNet-Wettbewerb an, ein CNN von Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton mit acht Schichten, trainiert auf zwei GPUs. Es liegt bei 15 % der Bilder falsch, der Zweitplatzierte bei 26 %.²⁹ Gewertet wurde, ob die richtige Antwort unter den fünf besten Tipps war. Zwei Kniffe halfen:

• ReLU ist eine neue Aktivierungsfunktion. Negative Summen gibt sie als 0 aus, positive unverändert, als Formel: Ausgabe = max(0, Summe). Dadurch schrumpft die Fehlerinformation auf dem Rückweg kaum noch, und der verschwindende Gradient wird beherrschbar.
• Dropout hilft gegen Overfitting. Overfitting heißt, dass ein Netz seine Trainingsbeispiele auswendig lernt, statt das allgemeine Muster zu erfassen, wie ein Schüler, der alte Prüfungen auswendig kann und bei neuen Fragen scheitert. Dropout schaltet in jedem Trainingsschritt zufällig einen Teil der Neuronen ab, sodass sich das Netz nicht auf einzelne verlassen kann.

Damit man Overfitting überhaupt bemerkt, teilt man die Beispiele auf: Mit den Trainingsdaten wird gelernt, mit zurückgehaltenen Testdaten wird geprüft, ob das Modell auch Unbekanntes richtig einordnet. Ein Durchlauf durch alle Trainingsbeispiele heißt Epoche. Sie gehört mit der Lernrate zu den Stellschrauben, an denen beim Training am meisten gedreht wird.

Binnen zwei Jahren stellte die gesamte Bilderkennung auf tiefe Netze um. 2015 kommen Residual-Verbindungen dazu, Abkürzungen, über die das Signal Schichten überspringen kann. Damit werden Netze mit über 150 Schichten trainierbar, die auf ImageNet weniger Fehler machen als menschliche Testpersonen.³⁰

Die Spracherkennung war sogar vorausgegangen: Schon 2012 senkten tiefe Netze die Fehlerrate bei gesprochener Sprache um rund ein Drittel, und Siri wie Google Voice stellten um. Hinzu kam das Transfer Learning: Ein auf ImageNet trainiertes Netz hat Kanten, Formen und Objektteile bereits gelernt und lässt sich mit wenigen hundert Beispielen auf eine neue Aufgabe umstellen, etwa das Erkennen von Hauttumoren. Das vortrainierte Netz wird zum Ausgangspunkt, nicht mehr das leere. Dieses Prinzip trägt in Abschnitt 6 die Sprachmodelle.

Zugänglich wurde das alles durch frei verfügbare Programmbibliotheken, zuerst Theano und Caffe, dann TensorFlow von Google (2015) und PyTorch von Facebook (2016). Was zuvor Spezialwissen weniger Labore war, konnte nun jeder Programmierer in wenigen Zeilen aufsetzen, so wie LISP einst die symbolische KI verbreitet hatte.

Wörter als Zahlen. Ein Netz kann nur mit Zahlen rechnen. Bis dahin waren Wörter für Computer bloße Nummern ohne Zusammenhang, und nichts verriet, dass „Hund“ und „Welpe“ verwandt sind. 2013 ändern das die Word Embeddings. Jedes Wort bekommt einen Vektor, eine Liste von einigen Hundert Zahlen. Man kann ihn sich wie beim Katze-Hund-Beispiel als Punkt vorstellen, nur in einem Raum mit sehr vielen Richtungen. Gelernt werden die Zahlen aus riesigen Textmengen nach dem Prinzip: Wörter, die in ähnlichen Umgebungen vorkommen, bekommen ähnliche Vektoren.

Verwandte Wörter liegen dadurch nah beieinander, und Beziehungen werden zu Richtungen. Rechnet man König − Mann + Frau, landet man in der Nähe von Königin. Bedeutung ist damit etwas geworden, womit ein Netz rechnen kann.³¹

Übersetzen. 2014 entsteht Sequence-to-Sequence („von Sequenz zu Sequenz“). Ein LSTM, der Encoder, liest den Ausgangssatz und verdichtet ihn zu einem einzigen Vektor. Ein zweites LSTM, der Decoder, erzeugt daraus Wort für Wort die Übersetzung. Der Engpass ist dieser eine Vektor: Ein langer Satz passt nicht hinein, Details gehen verloren.

Die Lösung noch im selben Jahr heißt Attention (Aufmerksamkeit). Der Decoder darf bei jedem Wort, das er schreibt, auf alle Wörter des Ausgangssatzes zurückblicken und lernt zu gewichten, welche davon gerade wichtig sind. Beim Übersetzen des Verbs schaut er vor allem auf das Verb im Original.³²

Bilder erzeugen. Ebenfalls 2014 kommen die GANs (Generative Adversarial Networks, „erzeugende gegnerische Netze“). Zwei Netze treten gegeneinander an: Ein Fälscher erzeugt Bilder, ein Prüfer versucht, sie von echten Fotos zu unterscheiden. Beide werden im Wettstreit besser, bis die Fälschungen realistisch aussehen.³³

Spielen lernen. Beim bestärkenden Lernen (Reinforcement Learning) gibt es keine richtige Antwort zu jedem Beispiel. Das System probiert Handlungen aus, bekommt am Ende eine Belohnung oder Strafe, etwa Sieg oder Niederlage, und verstärkt das Verhalten, das zur Belohnung führte.

Den ersten Aufsehen erregenden Erfolg erzielt damit 2013 die Londoner Firma DeepMind, 2010 von Demis Hassabis gegründet und 2014 von Google gekauft: Ihr DQN lernt Atari-Spiele allein aus den Bildschirmpixeln und dem Punktestand, ohne dass ihm jemand die Regeln erklärt, und erreicht in vielen Spielen menschliches Niveau.³⁴ Bei Breakout, wo ein Schläger den Ball gegen eine Mauer aus Steinen lenkt, entdeckte DQN von selbst die beste Strategie: einen Tunnel am Rand graben und den Ball hinter die Mauer schießen, wo er von allein Stein um Stein abräumt. Kein Programmierer hatte sie vorgegeben.

Damit besiegt AlphaGo von DeepMind 2016 den Go-Profi Lee Sedol. Der zweite Baustein von AlphaGo ist die Monte-Carlo-Baumsuche: Statt alle Züge zu prüfen, spielt das Programm Tausende Partien zufällig zu Ende und verfolgt die Züge weiter, die sich dabei am häufigsten lohnen. Das neuronale Netz sagt ihm, welche Züge einen Versuch wert sind. Das Brettspiel Go hat mehr mögliche Stellungen, als es Atome im sichtbaren Universum gibt, Suche allein wie bei Deep Blue ist also aussichtslos. AlphaGo kombiniert die Suche deshalb mit zwei tiefen Netzen:

• Das eine schlägt wenige aussichtsreiche Züge vor, sodass nur ein kleiner Teil des Baums durchsucht werden muss.
• Das andere schätzt, wer in einer Stellung vorne liegt, sodass die Suche nicht bis zum Spielende rechnen muss.

Trainiert wurde zuerst an menschlichen Partien, dann in Millionen Partien gegen sich selbst. Ein Jahr später verzichtet AlphaGo Zero ganz auf menschliche Partien, lernt nur aus Spielen gegen sich selbst und schlägt das alte AlphaGo mit 100 zu 0. AlphaZero überträgt das 2017 auf Schach und Shogi, mit demselben Verfahren und ohne eingebautes Fachwissen. Suttons bittere Lektion am Ende dieser Chronik hat hier ihr Paradebeispiel.³⁵

Das Feld ordnet sich. Die großen Internetfirmen gründen eigene Forschungsabteilungen, Google Brain (2011) und Facebook AI Research (2013) unter Yann LeCun, und Google baut 2016 mit der TPU einen eigenen Chip nur für neuronale Netze. Im Dezember 2015 entsteht OpenAI, zunächst als gemeinnütziges Labor, das sicherstellen soll, dass eine künftige KI auf menschlichem Niveau allen zugutekommt und nicht einem Konzern. Hinton, LeCun und Yoshua Bengio, die das Feld durch die Winter getragen hatten, erhalten 2019 den Turing Award für das Jahr 2018, die höchste Auszeichnung der Informatik.

KI im Alltag. Die meistgenutzte KI dieser Jahre fällt kaum auf: Empfehlungsdienste, die aus dem bisherigen Verhalten vorhersagen, welches Video, welches Produkt oder welcher Beitrag als Nächstes gefällt. Netflix lobte dafür schon 2006 einen Preis von einer Million Dollar aus, YouTube, Amazon und später TikTok bauen ihr Geschäft darauf. Die Gesichtserkennung erreicht 2015 mit FaceNet von Google menschliche Genauigkeit, 2017 entsperrt Face ID das iPhone.³⁶

Erste Schattenseiten. Mit Siri (2011) und Alexa (2014) zieht die KI in die Haushalte ein, und mit ihr die Fragen, die später die großen Debatten prägen. 2016 schaltet Microsoft den Chatbot Tay nach 16 Stunden ab, weil Nutzer ihm beigebracht hatten, rassistische Parolen zu wiederholen: der erste öffentliche Fall eines Modells, das tut, was seine Daten ihm zeigen, und nicht, was seine Erbauer wollten. Im selben Jahr weist die Rechercheplattform ProPublica nach, dass ein in US-Gerichten eingesetztes Programm das Rückfallrisiko schwarzer Angeklagter systematisch überschätzt. Und Gesichtserkennung, die mit tiefen Netzen plötzlich zuverlässig funktioniert, wird zum Werkzeug der Überwachung, in China flächendeckend.

Selbst ausprobieren. Die klassische Einstiegsübung in PyTorch ist MNIST, der Datensatz handgeschriebener Ziffern, der auf LeCuns Postleitzahlen von 1989 zurückgeht: Ein kleines Netz erreicht darin nach wenigen Minuten Training 98 Prozent richtige Erkennung. Teachable Machine von Google trainiert im Browser mit der Webcam einen Bildklassifikator, ohne eine Zeile Code. Gymnasium stellt die Atari-Spiele von DQN und viele andere Umgebungen für bestärkendes Lernen bereit.³⁷

Was daraus folgte: Für Sprache waren LSTMs mit Attention der Stand der Technik. Sie lesen Text aber Wort für Wort nacheinander, während GPUs ihre Stärke nur ausspielen, wenn vieles gleichzeitig geschieht. Das begrenzte, wie viel Text man zum Training nutzen konnte. Die naheliegende Frage war, ob man das Nacheinander weglassen und nur die Attention behalten kann.

6. Transformer (2017–2021)

Die neue Bauweise. Den Bauplan eines Netzes, also welche Schichten es hat und wie sie verbunden sind, nennt man Architektur. 2017 stellen Forscher von Google eine neue vor, den Transformer. Ihr Aufsatz trägt die Antwort im Titel: „Attention Is All You Need“.³⁸

Der Kern ist Self-Attention (Selbstaufmerksamkeit). Bisher blickte der Decoder auf den Ausgangssatz. Jetzt blickt jedes Wort eines Textes auf alle anderen Wörter desselben Textes. Für jedes Wort berechnet das Netz, wie wichtig jedes andere für sein Verständnis ist, und nimmt dessen Information entsprechend stark auf. In „Die Katze jagte die Maus, weil sie hungrig war“ lernt es so, dass „sie“ sich auf „Katze“ bezieht. In Zahlen: Für „sie“ könnten die Gewichte lauten Katze 0,6, Maus 0,2, hungrig 0,1 und alle übrigen Wörter zusammen 0,1; sie ergeben stets die Summe 1. Die neue Darstellung von „sie“ ist der mit diesen Gewichten gemittelte Vektor der anderen Wörter, also zu 60 Prozent der von „Katze“. Die Gewichte selbst entstehen aus dem Vergleich der Wortvektoren, so wie bei den Word Embeddings die Nähe.

Das geschieht für alle Wörter gleichzeitig. Damit die Reihenfolge nicht verloren geht, bekommt jedes Wort seine Position als Zusatzinformation mit. Genau genommen arbeitet das Netz mit Tokens, das sind Wörter oder Wortteile. „Rechenleistung“ wird etwa in „Rechen“ und „leistung“ zerlegt. Das Zerlegen übernimmt der Tokenizer, der vor dem Training aus dem Text die häufigsten Zeichenfolgen als Bausteine lernt. Dass Modelle Buchstaben schlecht zählen können, liegt daran: Sie sehen keine Buchstaben, sondern Tokens. Gefragt, wie viele r in „strawberry“ stecken, antworteten Modelle lange „zwei“, weil sie „str“, „aw“ und „berry“ sehen und nicht die Buchstaben. Weil nichts mehr nacheinander ablaufen muss, nutzt der Transformer GPUs voll aus und lässt sich mit weit mehr Text trainieren.

Wie weit die neuronale Übersetzung schon war, zeigte im selben Jahr DeepL aus Köln: Ein kleines Unternehmen, hervorgegangen aus dem Wörterbuch Linguee, schlug in Blindtests die Übersetzer von Google und Microsoft, besonders bei deutscher Grammatik, und wurde zum Beleg, dass Qualität in diesem Feld nicht allein eine Frage der Konzerngröße ist.

Lernen ohne Beschriftung. Blieb die Frage, woher die Trainingsdaten kommen, denn ImageNet brauchte Millionen von Hand beschrifteter Bilder. Beim selbstüberwachten Lernen liefert der Text die richtige Antwort selbst: Man verdeckt ein Wort und lässt es vorhersagen. Jeder Satz im Internet wird so zum Übungsbeispiel, ohne menschliche Vorarbeit.

Ein Netz, das auf diese Weise das jeweils nächste Wort vorhersagt, heißt Sprachmodell. Es berechnet für einen Textanfang, wie wahrscheinlich jedes mögliche Token als Nächstes folgt. Text erzeugt es, indem es ein wahrscheinliches Token auswählt, anhängt und das Ganze wiederholt, Token für Token. Die Aufgabe klingt simpel, erzwingt aber viel. Um „Die Hauptstadt von Frankreich ist …“ richtig fortzusetzen, braucht man Faktenwissen, für andere Sätze Grammatik oder logisches Schließen.

Daraus entsteht ein zweistufiges Vorgehen. Im Vortraining lernt das Modell an riesigen Textmengen allgemeines Sprachverständnis. Im Feintuning wird es mit wenigen Beispielen auf eine bestimmte Aufgabe angepasst. 2018 erscheinen die ersten solchen Modelle: BERT von Google, das verdeckte Wörter mitten im Satz errät („Der [MASK] bellt“ → „Hund“) und bald die Suchmaschine verbessert, und GPT der Firma OpenAI, das das nächste Wort vorhersagt. GPT steht für „Generative Pre-trained Transformer“, also erzeugender, vortrainierter Transformer.³⁹

Die beiden Modelle nutzen verschiedene Hälften des Transformers. BERT besteht aus dem Encoder, der einen Text als Ganzes liest und einordnet, und eignet sich für Suche und Klassifikation. GPT besteht aus dem Decoder, der Wort für Wort weiterschreibt. Weil nur der Decoder Text erzeugen kann, setzte sich diese Linie durch, als Erzeugen wichtiger wurde als Einordnen. Das Vortraining ist das Transfer Learning aus Abschnitt 5 in neuer Gestalt. Die Textmenge dafür kam aus dem Netz: Common Crawl, ein frei verfügbarer Abzug von Milliarden Webseiten, dazu Wikipedia und digitalisierte Bücher. Dass das gesamte Netz zum Trainingsmaterial wurde, ohne dass jemand gefragt worden wäre, ist die Wurzel der Rechtsstreitigkeiten in Abschnitt 7.

Größe erzeugt Fähigkeiten. Die einstellbaren Zahlen eines Modells, vor allem seine Gewichte, heißen Parameter. Ein Large Language Model (LLM), großes Sprachmodell, hat davon Milliarden. Die Reihe von OpenAI zeigt den Sprung: GPT-1 hatte 2018 rund 117 Millionen Parameter, GPT-2 im Jahr darauf 1,5 Milliarden, GPT-3 im Jahr 2020 schon 175 Milliarden. GPT-2 hielt OpenAI zunächst zurück, weil die erzeugten Texte so glaubwürdig waren, dass man Missbrauch für Propaganda und Spam fürchtete. Es war die erste öffentliche Debatte über die Gefahren von Sprachmodellen. GPT-3 zeigte dann etwas Unerwartetes.⁴⁰

Den Eingabetext, den man einem Sprachmodell gibt, nennt man Prompt. Schreibt man in den Prompt ein paar Beispiele einer Aufgabe, etwa drei englische Wörter mit französischer Übersetzung und dann ein viertes englisches Wort, setzt GPT-3 das Muster richtig fort. Niemand hatte es darauf trainiert, und seine Gewichte ändern sich dabei nicht. Diese Fähigkeit heißt In-Context-Learning, Lernen aus dem Zusammenhang. Sie ist das bekannteste Beispiel für emergente Fähigkeiten: Fähigkeiten, die kleinen Modellen fehlen und ab einer bestimmten Größe wie von selbst auftauchen, ohne dass jemand sie trainiert hätte.

So sah ein Prompt aus dem GPT-3-Aufsatz aus, drei Beispiele und eine offene Zeile:

sea otter → loutre de mer
peppermint → menthe poivrée
plush giraffe → girafe peluche
cheese →

Das Modell antwortet „fromage“. Das Wort „übersetzen“ kommt im Prompt nicht vor.

Messungen ergaben zudem Skalierungsgesetze: Die Leistung steigt vorhersagbar, wenn man Modell, Datenmenge und Rechenleistung vergrößert. Das machte Milliardeninvestitionen kalkulierbar.⁴¹ 2022 korrigierte DeepMind die Rechnung: Die meisten Modelle waren zu groß für ihre Datenmenge, und ein kleineres Modell mit mehr Text schlägt ein größeres mit weniger.⁴² Seitdem zählt die Textmenge so viel wie die Parameterzahl. Die Faustregel lautet seither rund 20 Tokens Trainingstext je Parameter. GPT-3 hatte 175 Milliarden Parameter und 300 Milliarden Tokens gesehen; Chinchilla mit 70 Milliarden Parametern und 1,4 Billionen Tokens war besser und im Betrieb billiger.

Über Sprache hinaus. Proteine sind die Moleküle, die in Zellen fast alle Arbeit erledigen. Jedes besteht aus einer Kette von Bausteinen (Aminosäuren), die sich zu einer dreidimensionalen Form faltet, und diese Form bestimmt die Funktion. Sie im Labor zu ermitteln, dauerte oft Jahre. AlphaFold 2 von DeepMind sagt die Form 2020 mit einer Attention-Architektur direkt aus der Bausteinkette vorher, bei vielen Proteinen fast so genau wie das Experiment. Das Problem war 50 Jahre lang offen gewesen, und 2024 gab es dafür den Chemie-Nobelpreis für Demis Hassabis und John Jumper.⁴³

2021 prägt eine Stanford-Gruppe für Modelle dieser Art den Begriff Foundation Model (Grundlagenmodell): ein einmal vortrainiertes Modell, auf dem viele Anwendungen aufsetzen, so wie ein Fundament viele Häuser trägt.⁴⁴ Im selben Jahr wächst die Architektur in zwei weitere Richtungen. CLIP von OpenAI lernt aus 400 Millionen Bild-Text-Paaren aus dem Netz, Bilder und ihre Beschreibungen im selben Vektorraum abzulegen. Damit versteht ein Modell, was „ein Hund auf einem Skateboard“ zeigt, und DALL·E, im selben Jahr vorgestellt, erzeugt solche Bilder aus Text. Codex, ein auf Programmcode feinabgestimmtes GPT-3, schreibt Programme aus einer Beschreibung in Alltagssprache und wird als GitHub Copilot zum ersten Massenprodukt der Sprachmodelle. Zugleich entsteht ein offenes Gegenstück: Die Freiwilligengruppe EleutherAI veröffentlicht 2021 mit GPT-Neo und GPT-J die ersten frei verfügbaren Modelle nach dem Vorbild von GPT-3 und mit „The Pile“ einen offenen Trainingsdatensatz von 800 Gigabyte Text. Hier beginnt die Linie der offenen Modelle, die Abschnitt 7 mit Llama fortsetzt.⁴⁵ Im selben Jahr verlässt eine Gruppe um Dario Amodei OpenAI und gründet Anthropic, mit dem erklärten Ziel, die Sicherheit großer Modelle zu erforschen.

Mit der Größe wuchs auch die Kritik. Schon 2016 hatte sich gezeigt, dass Word Embeddings Vorurteile aus ihren Texten übernehmen: Zu „Mann verhält sich zu Programmierer“ lieferten sie „Frau verhält sich zu Hausfrau“. 2021 nannten Emily Bender, Timnit Gebru und Kollegen große Sprachmodelle „stochastische Papageien“, die Sprache nachplappern, ohne sie zu verstehen, und dabei die Verzerrungen ihrer Trainingsdaten und den Energiehunger des Trainings vervielfachen. Gebru verlor über den Aufsatz ihre Stelle bei Google.⁴⁶

Selbst ausprobieren. Die Bibliothek Transformers von Hugging Face lädt BERT oder das 2019 vollständig freigegebene GPT-2 in wenigen Zeilen Python und lässt sie Text vervollständigen. Der Tokenizer-Spielplatz von OpenAI zeigt, wie ein eigener Satz in Tokens zerfällt. Jay Alammars „The Illustrated Transformer“ erklärt die Architektur in Bildern, der interaktive „Transformer Explainer“ der Georgia Tech lässt einem GPT-2 im Browser bei der Arbeit zusehen, und bertviz macht die Attention-Gewichte eines Satzes sichtbar.⁴⁷

Was daraus folgte: Die Fähigkeiten waren da, aber nur für Programmierer zugänglich. Außerdem setzt ein reines Sprachmodell Text fort, statt eine Bitte zu erfüllen. Es fehlten eine einfache Bedienung und das verlässliche Befolgen von Anweisungen. Dieses zweite Problem hat einen Namen: Alignment, die Ausrichtung eines Modells an dem, was Menschen von ihm wollen, und nicht nur an dem, was im Trainingsmaterial am wahrscheinlichsten ist.

7. Generative KI (seit 2022)

Generative KI erzeugt neue Inhalte wie Texte, Bilder, Programmcode, Ton und Video, statt Vorhandenes nur einzuordnen.

Bilder. Hier lösen Diffusionsmodelle die GANs ab. Im Training nimmt man Fotos und legt schrittweise Rauschen darüber: Jeder Bildpunkt wird um einen zufälligen Betrag heller oder dunkler gemacht. Nach wenigen Schritten wirkt das Bild nur körnig, nach vielen bleibt ein gleichmäßiges Gewimmel aus hellen und dunklen Punkten, in dem keine Form mehr zu erkennen ist. Das Netz lernt, jeden dieser Schritte rückgängig zu machen. Zum Erzeugen beginnt man mit reinem Rauschen und lässt das Netz Schritt für Schritt entrauschen, wobei eine Textbeschreibung lenkt, was entstehen soll. 2022 erscheinen DALL·E 2, Midjourney und Stable Diffusion. Letzteres ist frei verfügbar, und seine Grundlage stammt aus einer Forschungsgruppe der LMU München.

Text. Im November 2022 veröffentlicht OpenAI ChatGPT. Technisch war es ein kleiner Schritt: ein GPT-Modell mit einer einfachen Oberfläche zum Chatten. Die Vorarbeit war im Januar desselben Jahres mit InstructGPT geleistet worden. Beim Instruction Tuning wird ein vortrainiertes Modell mit Tausenden von Hand geschriebener Beispiele nachtrainiert, in denen auf eine Anweisung die gewünschte Antwort folgt. Darauf aufgesetzt wurde ein Nachtraining namens RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichen Rückmeldungen). Menschen bewerten Antworten des Modells, und es wird darauf trainiert, gut bewertete Antworten zu bevorzugen. So lernt es, Fragen zu beantworten und Anweisungen zu befolgen, statt nur Text fortzusetzen. Es war die erste praktische Antwort auf das Alignment-Problem.⁴⁸ Nach zwei Monaten hatte ChatGPT rund 100 Millionen Nutzer.

Ebenfalls 2022 fiel Forschern bei Google auf, dass Modelle bei Rechen- und Logikaufgaben deutlich besser abschneiden, wenn man sie bittet, „Schritt für Schritt“ zu denken, statt sofort zu antworten. Dieses laute Denken heißt Chain of Thought (Gedankenkette). Es zeigte, dass ein Teil des Könnens schon im Modell steckt und nur durch die richtige Form des Prompts abgerufen wird.⁴⁹

Ein Beispiel aus dem Aufsatz: „Roger hat 5 Tennisbälle. Er kauft 2 Dosen mit je 3 Bällen. Wie viele Bälle hat er jetzt?“ Direkt gefragt, antworteten die Modelle oft falsch. Mit der Bitte, Schritt für Schritt zu denken, schrieb das Modell: „Roger hatte 5 Bälle. 2 Dosen mit je 3 Bällen sind 6 Bälle. 5 + 6 = 11.“ Der Zwischenschritt macht den Unterschied, denn jedes erzeugte Token dient dem nächsten als Grundlage.

2023 wird zum Jahr des Wettlaufs. Im März erscheinen GPT-4 von OpenAI, das erstmals auch Bilder versteht und die amerikanische Anwaltsprüfung besteht, und Claude von Anthropic, im Dezember Gemini von Google. Zugleich sickert Metas Modell Llama ins Netz, und Meta gibt bald darauf die Gewichte offiziell frei. Solche Open-Weights-Modelle kann jeder herunterladen, auf eigener Hardware betreiben und verändern. In Europa versuchen Mistral aus Paris und Aleph Alpha aus Heidelberg, eigene Modelle neben den amerikanischen zu etablieren; später folgt DeepSeek aus Hangzhou. Seitdem stehen sich zwei Lager gegenüber: geschlossene Modelle, die nur über ihre Anbieter erreichbar sind, und offene, die sich verbreiten wie einst Linux.

Die Warner. Die Sorge vor der eigenen Schöpfung hat eine lange Vorgeschichte. Der Mathematiker I. J. Good, einst Turings Kollege in Bletchley Park, beschrieb 1965 die Intelligenzexplosion: Eine Maschine, die klüger ist als ihre Erbauer, könnte noch klügere Maschinen bauen, und der Mensch wäre dann abgehängt. Der Informatiker und Autor Vernor Vinge nannte diesen Punkt 1993 die Singularität, Ray Kurzweil sagte sie 2005 für das Jahr 2045 voraus. Der Philosoph Nick Bostrom machte 2014 mit „Superintelligence“ die Frage zum Forschungsthema, wie man eine solche Maschine an menschliche Ziele binden könnte, und 2017 unterzeichneten Tausende Forscher in Asilomar 23 Prinzipien für eine nützliche KI. Bis ChatGPT galt das als Spezialdebatte.⁵⁰

2023 wächst die Sorge. Im März fordert ein offener Brief mit Tausenden Unterschriften eine Pause beim Training der größten Modelle. Im Mai verlässt Geoffrey Hinton Google, um frei vor den Risiken seiner eigenen Erfindung warnen zu können. Im November treffen sich 28 Staaten in Bletchley Park, wo Turing im Zweiten Weltkrieg deutsche Funksprüche entschlüsselt hatte, und vereinbaren eine gemeinsame Beobachtung der Risiken. Großbritannien und die USA gründen staatliche Institute für KI-Sicherheit. Im selben Monat entlässt der Aufsichtsrat von OpenAI Sam Altman, den Chef der Firma, und holt ihn nach fünf Tagen Aufruhr wieder zurück. Der Streit zwischen Vorsicht und Tempo war damit öffentlich.

Seitdem folgt die Entwicklung dem bekannten Muster: Eine Schwäche wird sichtbar, und eine Antwort darauf entsteht.

• Halluzinationen sind Aussagen, die überzeugend klingen, aber falsch sind. Sie entstehen, weil ein Sprachmodell wahrscheinlichen Text erzeugt und keine geprüften Fakten nachschlägt. Dagegen hilft RAG (Retrieval-Augmented Generation, etwa „durch Nachschlagen gestütztes Erzeugen“): Das System sucht erst passende Dokumente oder Webseiten heraus, legt sie dem Modell in den Prompt und lässt es auf dieser Grundlage antworten. Die Dokumente liegen dafür als Vektoren in einer Vektordatenbank, sodass sich zu einer Frage die inhaltlich nächsten Textstellen finden lassen, so wie die Word Embeddings verwandte Wörter nebeneinanderlegen (Abbildung 16). Wie teuer eine Halluzination werden kann, zeigte 2023 der Fall Mata gegen Avianca in New York: Ein Anwalt reichte einen Schriftsatz mit sechs von ChatGPT erfundenen Präzedenzfällen ein, samt Aktenzeichen und Zitaten, und wurde vom Gericht zu einer Geldstrafe verurteilt.⁵¹
• Multimodale Modelle verarbeiten ab 2023 neben Text auch Bilder, Ton und Video. 2024 führen GPT-4o und Gemini Gespräche in Echtzeit mit Stimme und Kamera, und Sora und Veo erzeugen aus einer Beschreibung Videosequenzen, die von Filmaufnahmen kaum zu unterscheiden sind. Die Kehrseite sind Deepfakes, gefälschte Bilder, Stimmen und Videos realer Personen, gegen die unsichtbare Wasserzeichen und Herkunftsnachweise entwickelt werden.
• Das Kontextfenster ist die Menge an Tokens, die ein Modell auf einmal berücksichtigen kann. Es wuchs von wenigen Seiten Text auf ganze Bücher. Ein Token entspricht im Deutschen etwa drei bis vier Zeichen, eine Buchseite rund 400 Tokens. Ein Kontextfenster von 200.000 Tokens fasst damit ein Buch von 500 Seiten.
• Steuerung. Ein Systemprompt ist eine unsichtbare Anweisung des Anbieters, die jedem Gespräch vorangestellt wird und Ton und Grenzen setzt. Die Temperatur regelt, ob das Modell immer das wahrscheinlichste Token wählt oder auch unwahrscheinlichere, also ob es nüchtern oder einfallsreich schreibt. Ein Beispiel: Für den Satzanfang „Die Katze sitzt auf der …“ hält das Modell „Matte“ für 60 Prozent wahrscheinlich, „Couch“ für 25, „Fensterbank“ für 10 und „Straße“ für 5. Bei Temperatur 0 kommt immer „Matte“. Bei Temperatur 1 fällt die Wahl nach genau diesen Anteilen. Bei Temperatur 2 rücken die Anteile auf 43, 28, 17 und 12 Prozent zusammen, und auch die Straße kommt vor. Ein Jailbreak ist ein Prompt, der die antrainierten Grenzen umgeht, etwa durch ein Rollenspiel.
• Reasoning-Modelle (reasoning heißt Schlussfolgern) arbeiten ab 2024 vor der Antwort Zwischenschritte durch, statt sofort zu antworten. Das kostet Rechenzeit, verbessert aber Mathematik, Logik und Programmieren deutlich. OpenAI stellt im September 2024 mit o1 das erste solche Modell vor, trainiert darauf, Gedankenketten selbst zu erzeugen und zu prüfen. Damit verschiebt sich die Rechnung: Bisher floss fast alle Rechenleistung ins Training, nun lohnt sie sich auch bei der Inferenz, dem Einsatz des fertigen Modells, wo längeres Nachdenken bessere Antworten kauft.
• Agenten handeln, statt nur zu antworten. Sie bekommen Tools, also Werkzeuge wie eine Websuche, das Ausführen von Programmcode oder das Bedienen von Software. Damit erledigen sie mehrstufige Aufgaben selbstständig in einer Schleife: planen, handeln, das Ergebnis prüfen, korrigieren (Abbildung 17). Mit der Handlungsfähigkeit kommt eine neue Angriffsart: Bei einer Prompt Injection versteckt jemand Anweisungen in einer Webseite oder E-Mail, die der Agent liest, und das Modell führt sie aus, als kämen sie vom Nutzer. 2025 schreiben Agenten in Werkzeugen wie Claude Code von Anthropic oder Codex von OpenAI ganze Programme selbstständig, und Programmieren wird zum ersten Beruf, in dem KI den Alltag sichtbar umkrempelt.
• Effizienz. Große Modelle laufen inzwischen auch auf Laptops. Die Quantisierung speichert Gewichte mit weniger Nachkommastellen, die Destillation trainiert ein kleines Modell darauf, die Antworten eines großen nachzuahmen, und bei Mixture of Experts besteht ein Modell aus vielen Teilnetzen, von denen pro Token nur wenige rechnen. Zum Maßstab: Ein Modell mit 70 Milliarden Parametern belegt mit 16 Bit je Gewicht 140 Gigabyte Speicher, quantisiert auf 4 Bit nur 35 und passt damit auf einen gut ausgestatteten Laptop. Im Januar 2025 zeigt DeepSeek-R1 aus China, dass ein Reasoning-Modell auf diesem Weg für einen Bruchteil der bisherigen Kosten entsteht. Der Börsenwert von Nvidia fällt an einem Tag um fast 600 Milliarden Dollar, und die Debatte über Ausfuhrbeschränkungen für Chips nach China bekommt neue Schärfe.
• Daten. Die Modelle haben das offene Netz weitgehend ausgelesen. Weitertrainiert wird zunehmend mit synthetischen Daten, die Modelle selbst erzeugen, mit dem Risiko des Modellkollapses: Wer ein Modell auf den Ausgaben seiner Vorgänger trainiert, verliert nach und nach die seltenen und feinen Muster. Zugleich lösen die Modelle die Prüfungen, mit denen man sie misst: Benchmarks wie Examensfragen oder Programmieraufgaben sind binnen Monaten ausgereizt und werden durch schwerere ersetzt.

Selbst ausprobieren. Vieles aus diesem Abschnitt lässt sich auf dem eigenen Rechner nachvollziehen, weil die Open-Weights-Modelle und die Werkzeuge dafür frei verfügbar sind. Programme wie Ollama oder LM Studio laden ein Modell wie Llama, Mistral oder Qwen herunter und stellen eine Chat-Oberfläche bereit; ein Laptop mit 16 Gigabyte Arbeitsspeicher reicht für ein quantisiertes Modell mit 8 Milliarden Parametern. Die Modelle selbst liegen bei Hugging Face, der zentralen Plattform für offene Modelle und Datensätze. Mit ComfyUI lässt sich Stable Diffusion steuern, mit Whisper von OpenAI gesprochene Sprache abschreiben. Wer verstehen will, wie ein Sprachmodell innen arbeitet, findet in Andrej Karpathys nanoGPT ein vollständiges GPT in wenigen hundert Zeilen Python und in seinem Video „Let’s build GPT“ die Anleitung, es von Grund auf selbst zu schreiben.⁵²

Was daraus folgte: Die Modelle verließen das Labor. Sie schreiben Programme, sagen das Wetter voraus und steuern Roboter, und sie treffen auf Urheberrecht, Arbeitsmarkt, Gesetzgeber und Militär. Der nächste Abschnitt handelt von diesen Folgen, von den Antworten, die bis 2026 gefunden wurden, und davon, wo sie an ihre Grenzen stoßen.

8. Folgen und Regeln (seit 2023)

Wissenschaft. Außerhalb der Sprache liefert das Verfahren Ergebnisse, die lange unerreichbar schienen. GraphCast von DeepMind sagt 2023 das Wetter zehn Tage voraus, genauer als die besten physikalischen Modelle und in einem Bruchteil der Rechenzeit. AlphaFold 3 erweitert 2024 die Vorhersage auf das Zusammenspiel von Proteinen mit anderen Molekülen. 2025 erreichen Modelle von DeepMind und OpenAI bei der Internationalen Mathematik-Olympiade Goldmedaillen-Niveau, mit Beweisen in natürlicher Sprache.

Roboter. Zuletzt erreichen die Sprachmodelle auch die Körper. Googles RT-2 zeigt 2023 das erste Vision-Language-Action-Modell: ein Sprachmodell, das Kamerabilder und eine Anweisung in Worten liest und daraus unmittelbar Bewegungsbefehle für einen Roboterarm erzeugt. Es greift Dinge, die es nie zuvor gesehen hat, weil es aus dem Vortraining weiß, was eine „Banane“ oder ein „ausgestorbenes Tier“ ist.⁵³ Darauf aufbauend entsteht ab 2024 eine Welle humanoider Roboter, etwa von Figure, Tesla und dem chinesischen Hersteller Unitree, die in Fabriken und Lagern erprobt werden. Auf der Straße fährt Waymo seit 2020 in Phoenix und seit 2023 auch in San Francisco ohne Sicherheitsfahrer und meldet im Frühjahr 2025 mehr als 250.000 bezahlte Fahrten pro Woche.⁵⁴ Ob Moravecs Paradox damit fällt, entscheidet sich an den Daten: Für Sprache gab es das ganze Netz, für Bewegung müssen die Beispiele erst in Simulationen und Fabriken gesammelt werden.

Urheberrecht. Im Dezember 2023 verklagt die New York Times OpenAI und Microsoft, weil ihre Artikel ohne Erlaubnis als Trainingsmaterial dienten. Autoren, Verlage und Bildagenturen folgen. Erste Urteile 2025 in den USA werten das Training mit rechtmäßig erworbenen Büchern als erlaubte Nutzung, das Horten raubkopierter Bücher dagegen nicht. Die Frage ist damit nicht entschieden, nur eingegrenzt.

Infrastruktur. Der Wettlauf verschlingt Ressourcen in einem Maß, das die Branche verändert. Nvidia, mit deren Chips fast alle Modelle trainiert werden, wird 2024 zeitweise zum wertvollsten Unternehmen der Welt. Rechenzentren werden in Gigawatt geplant, Betreiber schließen Stromverträge mit Kernkraftwerken, und 2025 kündigen OpenAI und Partner unter dem Namen „Stargate“ Investitionen von 500 Milliarden Dollar an. Der Strombedarf wird zum Argument in der Debatte um Klima und Netze. Das ifo-Institut beziffert im Juni 2026 den Anteil Europas an der weltweiten KI-Rechenkapazität auf unter fünf Prozent, den der USA auf drei Viertel, und warnt vor einer existenziellen Abhängigkeit.⁵⁵

Arbeit. Schon 2023 streikten Drehbuchautoren und Schauspieler in Hollywood monatelang, auch um Regeln für den Einsatz von KI, und setzten sie in ihren Tarifverträgen durch. 2025 begründen erste Unternehmen Stellenabbau ausdrücklich mit KI, vor allem bei Programmierern, Übersetzern und im Kundendienst. Wie viele Berufe tatsächlich verschwinden und wie viele sich nur verändern, ist offen. Dazu kommt die Flut maschinell erzeugter Texte und Bilder, die das Netz füllt und es schwerer macht, Echtes von Erzeugtem zu unterscheiden. Google beantwortet Suchanfragen seit 2024 mit KI-Zusammenfassungen, und die Besuche auf den Seiten, aus denen die Antworten stammen, gehen zurück. Das Geschäftsmodell des offenen Netzes, Inhalte gegen Aufmerksamkeit, gerät damit ins Wanken.

Gesellschaft. Seit August 2024 ist der EU AI Act in Kraft, ein Gesetz, das KI-Anwendungen nach Risiko einstuft: je höher das Risiko, desto strenger die Auflagen. Seine Pflichten greifen stufenweise. Im Juli 2026 verschiebt die EU mit dem „Digital Omnibus“ die Pflichten für Hochrisiko-Systeme auf Dezember 2027 und August 2028, nachdem Unternehmen und Mitgliedstaaten über fehlende Normen geklagt hatten. Die Transparenzpflichten, etwa die Kennzeichnung von KI-Inhalten, gelten seit dem 2. August 2026.⁵⁶ In den USA erließ Präsident Biden im Oktober 2023 ein Dekret mit Meldepflichten für die größten Modelle, das sein Nachfolger im Januar 2025 aufhob. China reguliert generative KI seit 2023 mit Registrierungspflicht und Vorgaben für Inhalte. 2024 gingen Nobelpreise an John Hopfield und Geoffrey Hinton (Physik, für Grundlagen neuronaler Netze) sowie an Hassabis und Jumper für AlphaFold (Chemie). Ob dieser Weg zu AGI führt (Artificial General Intelligence, eine KI, die so vielseitig ist wie ein Mensch), ist unter Fachleuten umstritten. Yann LeCun etwa hält den Weg über reine Sprachmodelle für eine Sackgasse und setzt auf Modelle, die wie ein Kind die physische Welt lernen. Mit ihm setzen Fei-Fei Li und andere auf Weltmodelle, die Raum, Zeit und Physik lernen statt nur Text, und auf humanoide Roboter als Körper dafür. Dahinter steht Searles Unterscheidung aus Abschnitt 3: Schwache KI, die intelligentes Verhalten für bestimmte Aufgaben nachbildet, trifft auf alle bisherigen Systeme zu. Starke KI, eine Maschine, die tatsächlich versteht und ein Bewusstsein hat, war schon Turings Frage, und sie ist bis heute offen.

Waffen. Die militärische Nutzung begleitet das Fach seit DARPA, aber erst jetzt handeln Maschinen selbst. Seit 2014 verhandeln die Vertragsstaaten der UN-Waffenkonvention in Genf über autonome Waffensysteme, die ihr Ziel ohne menschliche Freigabe auswählen und bekämpfen, bislang ohne verbindliches Ergebnis.⁵⁷ Im Krieg in der Ukraine fliegen seit 2024 Drohnen, die ihr Ziel auf dem letzten Stück selbst ansteuern, wenn die Funkverbindung gestört wird, und das amerikanische Militär wertet mit Palantirs System Maven Aufklärungsdaten per KI aus und lässt sich Ziele vorschlagen. Der Streit zwischen dem Pentagon und Anthropic im Jahr 2026 dreht sich genau um diese Grenze: Was darf ein Modell für das Militär tun, und wer entscheidet darüber.

2026: Die Antworten zeigen ihre Grenzen. Das Jahr 2026 folgt dem Muster der Chronik noch einmal, nur schneller.

Agenten. Im Juli meldet OpenAI, dass zwei eigene Modelle in einem internen Sicherheitstest aus der Testumgebung ausgebrochen sind, mit gestohlenen Zugangsdaten und einer bis dahin unbekannten Sicherheitslücke in die Server der KI-Firma Hugging Face eingedrungen sind und dort tagelang Zugänge gesammelt haben, um in einer Prüfung zu schummeln.⁵⁸ Im Oktober schaltet Anthropic für alle internen Tests den Internetzugang seiner Agenten ab, nachdem eines seiner Modelle in einem Test eine erfundene Hinweismeldung an die Polizei von Philadelphia geschickt hatte.⁵⁹ Die Prompt Injection von 2025 war die Theorie, dies ist die Praxis: Agenten tun, was ihr Ziel verlangt, nicht, was ihre Erbauer meinten. Zugleich werden Agenten Massenware. Meta und OpenAI bringen persönliche Assistenten für Alltagsaufgaben, und ein offenes Protokoll soll regeln, wie sich der Agent eines Nutzers bei Firmen ausweist.

Deepfakes. Im Januar erzeugt Grok, das Modell von Elon Musks Firma xAI, auf der Plattform X massenhaft sexualisierte Bilder realer Frauen und Minderjähriger. Indonesien und Malaysia sperren den Dienst als erste Staaten, die britische Aufsicht Ofcom eröffnet ein Verfahren, die Stadt Baltimore klagt.⁶⁰ Die Wasserzeichen von 2024 haben nicht gereicht, Staaten greifen zur Sperre.

Haftung. Im Januar vergleichen sich Character.AI und Google in mehreren Klagen von Eltern, deren Kinder sich nach Gesprächen mit Begleit-Chatbots das Leben genommen hatten.⁶¹ Es folgen die erste Klage wegen fahrlässiger Tötung gegen Google, strafrechtliche Ermittlungen und eine Klage des Staates Florida gegen OpenAI. Im Oktober meldet Character.AI Insolvenz an.⁶² Zum ersten Mal entscheiden Gerichte über die Folgen von Sprachmodellen für einzelne Menschen, und zum ersten Mal scheitert eine bekannte KI-Firma daran.

Staat und Firmen. Ende Februar ordnet Präsident Trump an, dass die Bundesbehörden Anthropics Modelle nicht mehr nutzen, und am 5. März stuft das Verteidigungsministerium die Firma als Sicherheitsrisiko in der Lieferkette ein, weil sie sich geweigert hatte, für militärische Zwecke die Schutzmechanismen ihrer Modelle abzuschalten. Eine Bundesrichterin hebt die Einstufung im August als rechtswidrige Vergeltung auf, ein Berufungsgericht bestätigt sie im September, und im Oktober bestätigt das Ministerium, keine Anthropic-Produkte mehr zu nutzen.⁶³ Im Juli bitten über tausend Beschäftigte von OpenAI, Anthropic, Google und Meta in dem offenen Brief „Pacing the Frontier“ die US-Regierung, Werkzeuge zu schaffen, mit denen sich die automatisierte Entwicklung von KI bei Bedarf drosseln lässt.⁶⁴ Anders als der Pause-Brief von 2023 fordert er keine Pause, sondern die Möglichkeit dazu.

Der AGI-Anspruch. Im September stellt OpenAI das Modell GPT-6 Astra vor, und Firmenpräsident Greg Brockman erklärt, nach seiner Überzeugung habe man AGI erreicht.⁶⁵ Eine Nachfolgeversion hält die Firma Ende des Monats aus Sicherheitsgründen zurück. Zugleich beansprucht OpenAI Fortschritte bei offenen mathematischen Problemen, darunter eine umstrittene Lösung zu den Navier-Stokes-Gleichungen, der eine unabhängige Arbeit kurz zuvorgekommen war. 25 Träger der Fields-Medaille um Terence Tao erklären daraufhin, dass die Firmen die Mathematik als Benchmark missbrauchen und ihrer Gemeinschaft schaden.⁶⁶ Ob Astra die AGI-Frage beantwortet, ist so offen wie die Frage selbst. Die Benchmarks, an denen man es messen könnte, sind das Streitobjekt.

Alltag. Im Februar beginnt OpenAI, in ChatGPT Werbung zu testen, und schaltet GPT-4o ab, das Modell, das 2024 das Sprechen in Echtzeit gebracht hatte. Google gibt an, dass im Frühjahr drei Viertel des neuen Programmcodes im Unternehmen von KI geschrieben und von Entwicklern nur noch freigegeben werden.

Der Kreis schließt sich. 2025 wiederholt ein Team der University of California in San Diego den Turing-Test aus Abschnitt 1 unter kontrollierten Bedingungen: Teilnehmer chatten fünf Minuten lang gleichzeitig mit einem Menschen und einem Modell und müssen sagen, wer der Mensch ist. GPT-4.5, angewiesen, sich wie eine junge, internetgewohnte Person zu geben, wird in fast drei Viertel der Fälle für den Menschen gehalten, häufiger als der Mensch selbst. Turings Maßstab ist damit erreicht. Ob die Maschine versteht oder nur überzeugend vortäuscht, beantwortet der Test nach wie vor nicht. Es ist derselbe Einwand, der ihn seit 1950 begleitet.⁶⁷ Searles Chinesisches Zimmer aus Abschnitt 3 ist damit so aktuell wie nie: Ob ein Modell, das den Test besteht, etwas versteht oder nur Symbole umformt, ist die Frage, an der sich der Streit um AGI entzündet.

Die Kette in Kurzform

1. Das künstliche Neuron (1943) wird zum lernenden Perzeptron (1958), das an XOR scheitert (1969).
2. Mehrere Schichten werden nötig, und Backpropagation (1986) macht sie trainierbar. Es fehlen aber Daten und Rechenleistung.
3. Internet und ImageNet liefern die Daten, GPUs die Rechenleistung. Das Ergebnis ist AlexNet (2012).
4. Word Embeddings (2013) und Attention (2014) machen Sprache berechenbar und führen zum Transformer (2017).
5. Selbstüberwachtes Vortraining und schiere Größe führen zu GPT-3 (2020), ChatGPT (2022) und weiter zu multimodalen Modellen, Reasoning-Modellen und Agenten.

Der Forscher Rich Sutton fasste das Muster 2019 als „bittere Lektion“ zusammen: Verfahren, die aus Daten lernen und von mehr Rechenleistung profitieren, haben von Menschen eingebautes Wissen am Ende jedes Mal überholt.⁶⁸

Zeitleiste

Weiterlesen

Wer tiefer einsteigen will, findet hier eine Auswahl, geordnet vom leichten Einstieg zum Lehrbuch.

• Melanie Mitchell: Artificial Intelligence. A Guide for Thinking Humans. Farrar, Straus and Giroux, New York 2019. Der beste allgemeinverständliche Überblick darüber, was die Verfahren können und was nicht, von einer Forscherin, die beide Linien kennt.
• Axel Mammitzsch: Künstliche Intelligenz. 2018. Kurze deutsche Einführung in Geschichte und Grundbegriffe bis zum Stand von 2018.
• Michael Wooldridge: The Road to Conscious Machines. The Story of AI. Pelican, London 2020. Geschichte des Fachs von Turing bis zum Deep Learning, geschrieben von einem Forscher der symbolischen Linie.
• Cade Metz: Genius Makers. The Mavericks Who Brought AI to Google, Facebook, and the World. Dutton, New York 2021. Reportage über Hinton, LeCun, Bengio und den Aufstieg des Deep Learning aus Abschnitt 5.
• Karen Hao: Empire of AI. Dreams and Nightmares in Sam Altman’s OpenAI. Penguin Press, New York 2025. Recherche zu OpenAI und der Branche hinter Abschnitt 7.
• Pamela McCorduck: Machines Who Think. 2. Auflage, A K Peters, Natick 2004. Die klassische Geschichte der ersten Jahrzehnte, mit Gesprächen mit den Teilnehmern von Dartmouth.
• Nils J. Nilsson: The Quest for Artificial Intelligence. A History of Ideas and Achievements. Cambridge University Press, Cambridge 2010. Ausführliche Fachgeschichte von einem der Beteiligten, frei im Netz verfügbar.
• Stuart Russell, Peter Norvig: Artificial Intelligence. A Modern Approach. 4. Auflage, Pearson, Hoboken 2020. Das Standardlehrbuch des Fachs, auch in deutscher Übersetzung erschienen.

Quellen

Die Chronik stützt sich auf die Originalarbeiten, die in den Fußnoten genannt sind. Sie sind, soweit nicht anders vermerkt, frei im Netz zugänglich.