Wie aus einem Satz eine Antwort wird

Ein Satz zerfällt

Zuerst wird der Satz zerlegt. Nicht in Wörter und nicht in Buchstaben, sondern in Stücke dazwischen — nach Häufigkeit. Was oft vorkommt, bleibt ganz; was selten ist, zerbricht. Deshalb ist „Rechnung" ein Stück und „Straßenbahn" mehrere.

Aus Stücken werden Zahlen

Ein Modell rechnet, es liest nicht. Jedes Stück wird zu einer Liste von Zahlen — hier vier, in echten Modellen mehrere tausend. Diese Zahlen sind kein Code und keine Nummer im Wörterbuch: Sie sind gelernt, und in ihnen steckt alles, was das Modell über das Stück weiß.

Die vier Zahlen je Wort sind von Hand gesetzt, damit man ihnen ansieht, was sie bewirken. Ein Modell lernt sie aus Milliarden Sätzen.

Nähe ist Bedeutung

Weil es Zahlen sind, gibt es Abstände. Und weil es Abstände gibt, liegt Verwandtes beieinander: „Rechnung" neben „Beleg", weit weg von „Server". Eine Suche fragt dann nicht mehr, ob ein Wort im Text steht, sondern was in seiner Nähe liegt.

Jedes Wort schaut auf jedes

Jetzt wird es die eigentliche Erfindung. Jedes Stück vergibt Gewichte an alle anderen — „sie" schaut auf „Rechnung" und findet dort mehr als bei „gestern". Die Linien zeigen es: je dicker, desto mehr Aufmerksamkeit. Das ist der ganze Trick hinter allem, was seit 2017 gebaut wird.

Und dann rät es

Am Ende steht keine Antwort, sondern eine Liste: Für jedes mögliche nächste Stück eine Wahrscheinlichkeit. Das Modell wählt eines, hängt es an und fängt von vorne an. Wort für Wort. Es weiß nie, wie der Satz endet, den es gerade schreibt.

Die Wahrscheinlichkeiten sind gesetzt — für echte bräuchte es ein laufendes Modell. Die Größenordnungen entsprechen dem, was man an dieser Stelle sieht.

Und wo passiert das alles?

Genau das ist die Frage, die uns interessiert. Derselbe Weg läuft zweimal: einmal auf einem Rechner in Ihrem Haus, einmal in einem Rechenzentrum, das Ihnen nicht gehört. Die Rechnung ist dieselbe. Was sich unterscheidet, ist, wer dabei zusehen kann.