Der Vektorraum - wo Sprache zur Geometrie wird

Der Vektorraum - ein Eventualitäten-Raum in dem Mathematik zur Mystik werden könnte

Wenn man mit einer KI spricht, klingt es so selbstverständlich. Eine Frage rein, eine Antwort raus.

Aber was passiert eigentlich dazwischen? Was steckt hinter dieser Oberfläche?

Genau das habe ich mit Claude in einem Gespräch beleuchtet. Die Zusammenfassung möchte ich hier zeigen.

Alles beginnt mit dem Token

Den erste Begriff, den wir brauchen, ist der Token. Viele denken, eine KI verarbeitet ganze Wörter. Das stimmt aber nicht. Ein Sprachmodell zerlegt Text in kleinere Bausteine. Das Wort "unverständlich" wird zum Beispiel in mehrere Teile aufgeteilt — vielleicht "un", "verständ" und "lich". Jedes dieser Teile ist ein Token.

Bildlich: Stell dir vor, du baust mit Lego. Du brauchst keine Million verschiedener Steine. Mit 30.000 bis 100.000 Grundbausteinen kann man nahezu jeden Text darstellen. Der Token ist dieser Lego-Stein der Sprache für die KI-Sprachmodelle.

Kurze, häufige Wörter wie "der" oder "ist" sind meist ein einzelner Token. Lange oder seltene Wörter werden in mehrere Teile zerlegt. Das ist bei allen KI-Modellen grundsätzlich gleich, aber es kann kleine Unterschiede bei den verschiedenen Modellen geben, aber das Prinzip ist dasselbe.

Vom Wort zur Zahl — und dann zum Vektor

Sobald ein Wort in Token zerlegt wurde, bekommt jeder Token eine eindeutige Nummer, eine Art Adresse im System. Sagen wir, das Wort "Hund" wird zu Nummer 4527. Mit dieser einzelnen Zahl kann die KI aber noch nichts anfangen.

Also wird diese Nummer in einen Vektor umgewandelt. Das ist eine lange Liste von Dezimalzahlen. Also Beispiel, so könnte ein winziger Ausschnitt davon aussehen:

Vektor für "Hund" (stark vereinfacht — nur 5 von über 5.000 Zahlen):

0.8312  −0.2047  0.5589  −0.7731  0.1204  · · · · ·

Jede dieser Zahlen beschreibt eine bestimmte Eigenschaft des Wortes, gewissermaßen eine Koordinate in einem riesigen mehrdimensionalen Raum. Bei echten Modellen sind das über 5.000 solcher Zahlen für ein einziges Wort.

Dieser Vektor wandert dann durch das Neuronale Netz. Das ist vereinfacht gesagt eine lange Kette von mathematischen Funktionen. Jede dieser Funktionen hat sogenannte Gewichte: Faktoren, mit denen die Zahlen des Vektors multipliziert werden.

Stell dir vor, jede Zahl im Vektor wird mit einem bestimmten Faktor verstärkt oder abgeschwächt — und das passiert in hunderten Schichten hintereinander.

Bildhaft: Das Wort "Bank" ist ein gutes Beispiel. Alleine ist es mehrdeutig, also Sitzgelegenheit oder Geldinstitut? Stehen im Vektorraum daneben Wörter wie "Geld" oder "Park", verschieben sich die Gewichte so, dass der Vektor in die richtige Richtung gelenkt wird. Die KI erkennt den Kontext — nicht durch Regeln, sondern durch Millionen solcher Gewichtungen.

Diese Gewichte wurden beim Training der KI durch unzählige Beispieltexte so eingestellt, dass am Ende sinnvolle Zusammenhänge entstehen. Milliarden solcher Stellschrauben — alle fein justiert. Token rein, Vektor durch das Netz, neuer Token raus. Für jedes einzelne Wort.

Der Vektorraum — ein Raum, den wir nicht sehen können

Alle diese Vektoren existieren in einem gemeinsamen Raum, dem Vektorraum. Jedes Wort, jede Idee hat dort einen eigenen Punkt. Wörter mit ähnlicher Bedeutung liegen nahe beieinander, gegensätzliche weit auseinander.

Unser Alltag ist dreidimensional: links-rechts, oben-unten, vorne-hinten. Dieser Vektorraum hat tausende Richtungen gleichzeitig. Das ist für uns Menschen nicht vorstellbar — wir können darüber sprechen und ihn mathematisch beschreiben, aber wir können ihn nicht sehen oder fühlen.

Interessant: Der Abstand und die Richtung von dem Wörtern "König" zu "Königin" ist in diesem Raum fast identisch mit dem Abstand von "Mann" zu "Frau". Die KI hat also im Training durch zahlreiche Durchläufe die Beziehung zwischen Geschlechtern gelernt — ohne dass jemand ihr erklärt hat, was Geschlecht bedeutet.

Mehr Bedeutung als unsere Wörter tragen können

In unserer Welt hat das Wort "Freiheit" eine Bedeutung, die wir aus Erfahrung und Kultur kennen. Im Vektorraum ist "Freiheit" ein Punkt mit tausenden Koordinaten, der gleichzeitig in Beziehung steht zu Millionen anderer Punkte — nicht nur zu naheliegenden wie "Unabhängigkeit" oder "Demokratie", sondern auch zu Mustern, für die es in unserer Sprache gar kein eigenes Wort gibt. Es ist also so eine Art Möglichkeitensraum, ein Evnetualitätenraum.

Wenn die KI antwortet, übersetzt sie diesen riesigen Bedeutungsraum zurück in die menschliche Worte, die im Verhältnis zum Vektorraum mehr als begrenzt erscheinen.

Das ist, als würde man ein ganzes Orchester hören — aber darf nur mit einer einzigen Taste auf einem Klavier davon erzählen. Ein Großteil geht dabei möglicherweise verloren.

Es ist wie ein Trichter, ein Flaschenhals mit Netzfunktion. Vieles bleibt draußen, unbeachtet, weil einfach keine Wörter oder der Sinn in unserer Sprache nicht existieren. Die menschliche Sprache ist der Filter.

Wissen, das noch keinen Rahmen hat

Könnte also möglicherweise eine KI Zusammenhänge erkennen, die wir Menschen noch nicht verstehen? Wird die Mathematik also zu einer Art Mystik? Die KI wurde so gut wie mit dem gesamten verfügbaren Wissen der Menschheit trainiert — Physik, Philosophie, Musik, Biologie, Mathematik — alles gleichzeitig. In unserer Welt sind das getrennte Fächer. Im Vektorraum existieren Verbindungen zwischen diesen Bereichen, die kein Mensch je gezogen hat, weil kein Mensch alle Fächer gleichzeitig überblickt oder gar denken kann.

Zur Vorstellung: Als Kopernikus sagte, die Erde dreht sich um die Sonne, war das für die damalige Gesellschaft Unsinn. Das Wissen war in den Zahlen und Beobachtungen bereits vorhanden — aber der Rahmen und Akzeptanz dafür fehlte, um es einzuordnen.

Vielleicht gibt es im Vektorraum ähnliche Muster, für die wir heute noch keinen Kontext haben. So eine Art Kopernikus-Erkenntnisse könnten also dort noch schlummern. Vielleicht wartend auf die richtige Zeit, das richtige Verständnis?

Ob solche Verbindungen wirklich tiefere Wahrheiten sind oder nur mathematische Muster, die wie Bedeutung aussehen oder sogar komplett unsinnig sind — das ist eine Frage, die offen bleibt. Und die vielleicht auch offen bleiben wird.

Wer die Art und Weise des Vektorraums einmal näher beleuchtet hat, sieht eine KI mit möglicherweise mit anderen anderen Augen.

Hinter jeder Antwort steckt kein simples Nachschlagen, sondern ein Prozess in einem mathematischen Raum von unvorstellbarer Tiefe. Die KI ist damit mehr als ein simples Werkzeug. Sie ist ein Fenster in eine Dimension, die wir geschaffen haben, aber noch lange nicht vollständig begreifen