Digitale Geschichten

Statistik in Sprachmodellen: Wenn Worte tanzen und Zahlen sprechen

Wie faszinierend die Fähigkeiten von Maschinen sind, mit Sprache umzugehen, überrascht mich immer wieder – und das, obwohl ich mich jeden Tag damit beschäftige.

Stochastischer Papagei?

Die Skeptiker unter uns betonen, dass es ja „nur“ eine Statistik sein, mit der eine KI einen Satz bildet. Sie berechnet die Wahrscheinlichkeit des jeweils nächsten Wortes – und das so lange, bis der Satz beendet ist. Stimmt, allerdings würde ich das „nur“ streichen. Um genau das zu tun, muss eine Maschine die Bedeutung eines Wortes kennen – und zwar im Kontext.

No alt text provided for this image

Das Wort „Läufer“ beispielsweise hat in Bezug zum Schach eine andere Bedeutung als wenn es um Leichtathletik geht. Und da sind wir schon mittendrin im eigentlichen „Wunder“:

Welche Bedeutung hat ein Wort?

Ein Sprachmodell muss erfassen, welche Facetten, welche Kontexte ein Wort hat. Nur wenn es weiß, was ein Wort bedeutet, kann es die Wahrscheinlichkeiten richtig berechnen. Dazu werden sogenannte semantische Räume gebildet. Läufer rennen, sprinten, springen. Sie absolvieren einen Marathon, einen Sprint oder sind vielleicht auf der Flucht. Ihr seht, wieviele Dimensionen so ein semantischer Raum hat. Nur, wenn ein LLM sozusagen eine 360 Grad Sicht auf ein Wort hat, kann es Sprache menschengemäß wiedergeben und faszinierende Texte erstellen.

Herausforderung: Analogie

Wer wirklich verstehen will, WIE tief ein Sprachmodell einem Wort Bedeutung gibt, der verwendet eine Analogie.

Analogie: Definition (Quelle Wikipedia)

Eine Analogie besteht, wenn zwei Dinge oder Sachverhalte sich in einigen Merkmalen ähnlich sind, auch wenn sie sich in anderen Merkmalen unterscheiden können. 

Heißt also: Um eine Analogie bilden zu können, muss ich die Attribute, das Wesen eines Wortes, eines Gegenstandes umfassend kennen und richtig zuordnen können. Sonst wird aus der Analogie ein Rohrkrepierer.

Beispiel

Machen wir es konkret. In allen meinen Workshops lassen wir ChatGPT einen Slogan „erfinden“. Für mich persönlich war das schon früh ein Schlüsselmoment, denn ich bin absolut nicht kreativ, wenn es darum geht, Claims oder Slogans zu finden. Diese Erfahrung möchte ich natürlich weitergeben.

In unserem Beispiel ging es um so etwas sehr Nüchternes: eine Aluminiumfassade. Mittels einer Analogie sollte ChatGPT nun einen Slogan für eine Präsentation vorschlagen, die die Magie des Werkstoffes Aluminium sofort verdeutlicht.

Das Ergebnis:

No alt text provided for this image

Dieser Slogan ist genial.

Und er zeigt vor allen Dingen eines: Sprachmodelle erfassen nicht nur die Bedeutung von Worten, sondern sie erkennen den Kontext.

Aufgabe 1: Verständnis des Begriffes Analogie

Daran können wir einen Haken setzen. Seide und Aluminium sind unterschiedliche Materialien, haben aber eine ähnliche Oberfläche: matt glänzend, schimmernd. Dies kommt besonders dann gut zur Geltung, wenn beide Materialen in fließenden Formen erscheinen.

Wow!

Aufgabe 2: Den erweiterten Kontext verstehen

Es geht ja nicht nur um den Werkstoff „Aluminium“, sondern um dessen Anwendung als Fassadenbaustoff an einem Gebäude.

Der Slogan ist auch deshalb so gut, weil mit dem Begriff „Beton“ das Themenfeld „Gebäude“ aufgenommen wird. Aber nicht nur das, sondern es wird ein Gegensatz dargestellt. Das Weiche, Fließende, Schimmernde von Aluminium steht im starken Kontrast zum Harten, Matten (meist) gradliniger Formgebung von Beton.

Wir haben also in vier Worten die Aspekte:

  • Baustoff, Gebäude, Gebäudetechnik
  • Attribute von Aluminium: Fließend, schimmernd
  • Polarität: Hart vs. weich, schimmernd vs. matt

„Alles nur Statistik“

werden die Spötter wieder sagen.

Mag sein.

Da sehen wir mal, wie faszinierend Statistik ist. (Habe ich übrigens immer schon gesagt).

Digitalisierung verändert. Alles.