Labor
Wie das eigentlich funktioniert
Vier Stücke zum Ausprobieren. Alles rechnet hier im Browser, nichts geht an einen Server — und bei jedem steht, was gerechnet und was gezeigt wird.
Warum kostet ein deutsches Wort mehr als ein englisches?
Ein Modell liest keine Buchstaben, sondern Stücke. Es zerlegt den Text erst an Wort- und Satzzeichengrenzen — genau das passiert hier live. Danach zerfallen lange Wörter weiter, und deutsche Umlaute zählen doppelt: Sie brauchen zwei Bytes, wo ein englischer Buchstabe eines braucht. Deshalb ist derselbe Satz auf Deutsch teurer.
Die·Straßenbahn·fährt·um·14:30·Uhr·—·schöne·Grüße!
≥ 13 — mindestens so viele Tokens
Vollständig echt gerechnet. Die Zerlegung nutzt genau das Muster, mit dem GPT-Modelle vorzerlegen; Zeichen und Bytes zählt der Browser selbst. Nur die eigentliche Zusammenfassung zu Tokens fehlt — deshalb ist die Zahl eine Untergrenze, keine Schätzung.
Wie kann eine Maschine wissen, dass zwei Wörter verwandt sind?
Indem Bedeutung zu einem Ort wird. Jedes Wort bekommt eine Position, und was sich ähnelt, liegt beieinander. Eine Suche fragt dann nicht mehr „steht dieses Wort im Text", sondern „was liegt in der Nähe". Genau deshalb findet eine gute Suche „Rechnung", wenn Sie „Beleg" eingeben.
- 1. BelegAbstand 0.106
- 2. QuittungAbstand 0.108
- 3. ZahlungAbstand 0.144
Die Rechnung ist echt: Die Nachbarn werden über den Abstand ermittelt, genau wie in einer Vektordatenbank. Die Karte selbst ist von Hand gelegt. Ein echtes Modell rechnet in Hunderten Dimensionen und lernt die Positionen — das wären ein paar hundert Megabyte Download für eine Vorführung.
Woher weiß das Modell, worauf sich „sie" bezieht?
Jedes Wort schaut auf jedes andere und vergibt Gewichte. „Sie" schaut auf „Rechnung" und findet dort mehr als bei „gestern" — und genau diese Gewichtung ist die eigentliche Erfindung hinter allen heutigen Sprachmodellen. Wählen Sie ein Wort: Was hell wird, ist das, worauf es hört.
Wort anklickensoftmax(q·k / √d)Gewicht: Rechnung
Die Formel ist die echte — softmax(q·k geteilt durch Wurzel d), Wort für Wort nachgerechnet. Die Vektoren sind von Hand gesetzt, damit man sieht, was sie bewirken; ein Modell lernt sie aus Milliarden Sätzen. Es ist eine Aufmerksamkeit statt vieler, und die Zahlen sind grob — die Mechanik ist genau diese.
Was kostet es wirklich, ein Modell selbst zu betreiben?
Für jedes einzelne Wort muss ein Modell einmal komplett aus dem Speicher gelesen werden. Das ist die Bremse — nicht die Rechenleistung. Ein Modell halb so groß ist deshalb doppelt so schnell, und ein Rechner mit schnellem Speicher schlägt einen mit schneller CPU. Schieben Sie die Regler und sehen Sie, wo die Grenze liegt.
200 GB/s ÷ 8 GB = 25.0 · Angenommen: 60 Wörter je Sekunde, 40 ms Netzweg je Anfrage
Echte Arithmetik auf einer bewusst einfachen Annahme: Wörter je Sekunde gleich Speicherbandbreite geteilt durch Modellgröße. Das ist die anerkannte Obergrenze und liegt in der Praxis 20 bis 40 Prozent darüber. Die Cloud-Werte sind als feste Annahme gesetzt und stehen darunter — echte Anbieter schwanken über den Tag.
Woran wir gerade denken
Drei Fragen, auf die wir noch keine gute Antwort haben. Wir schreiben sie hier auf, weil eine ehrliche offene Frage mehr wert ist als eine geschlossene, die niemand gestellt hat.
- wir messen
Wie viel Kontext ist zu viel?
Ein lokales Modell kann heute ein ganzes Handbuch aufnehmen. Nur wird es dabei nicht klüger, sondern langsamer und unschärfer — die Antwort zieht sich zum Anfang und zum Ende des Textes und lässt die Mitte liegen. Wir suchen die Grenze, ab der es besser ist, gezielt nachzuschlagen statt alles mitzugeben.
- gebaut, aber unfertig
Wie belegt man, was ein Assistent getan hat?
Wenn ein Assistent eine Rechnung freigibt, muss das nachvollziehbar sein — nicht als Textprotokoll, sondern als Kette, die noch stimmt, wenn ein Jahr vergangen ist. Wir schreiben in A2 Apex jeden Werkzeugaufruf mit. Was fehlt, ist die Form, in der ein Prüfer das lesen kann, ohne uns zu fragen.
- ungelöst
Was kostet eine Antwort wirklich?
Anbieter rechnen in Tokens ab, und die kennt man erst hinterher. Wir zählen in A2 Apex selbst mit, um vorher schätzen zu können. Bei eigenen Laufzeiten wird es interessanter: Dort ist die ehrliche Einheit nicht der Token, sondern die belegte Sekunde auf einer Grafikkarte — und dafür gibt es noch keinen guten Preis.