Teil 2: Wie LLMs funktionieren

Serie: Was jeder CEO über Generative KI wissen sollte

Der Titel mag ambitioniert wirken, doch ein grundlegendes Verständnis ist entscheidend, um Chancen und Risiken der Technologie einschätzen und fundierte Entscheidungen treffen zu können. Deshalb möchte ich die wichtigsten Prinzipien vorstellen, wie Large Language Models (LLMs) funktionieren.

Im Jahr 2022 veröffentlichte OpenAI ChatGPT für die breite Öffentlichkeit. ChatGPT ist ein sogenanntes Large Language Model (LLM). Ein LLM basiert auf künstlichen neuronalen Netzen, das sind Systeme, die ursprünglich als Modell des menschlichen Gehirns entwickelt wurden. Aus diesem Grund verwenden wir in der KI den Begriff „Modell" für KI-Software-Systeme, die auf neuronalen Netzen basieren und bestimmte menschliche Fähigkeiten nachahmen.

Was uns der Name «ChatGPT» über LLMs verrät

Das erste LLM, das einer breiten Öffentlichkeit bekannt wurde, war ChatGPT. Der Name ist eine Abkürzung, die bereits auf einige seiner zentralen Eigenschaften hinweist. Hier steht jeder Teil des Namens für Folgendes:

Chat	Dies beschreibt, dass wir mit dem Modell über ein Gespräch interagieren können. LLMs müssen speziell darauf trainiert werden, diese Chat-Funktionalität zu unterstützen, damit sie in der Lage sind, in natürlicher, dialogbasierter Form zu antworten.
G	Steht für Generativ: Das Modell generiert neue Inhalte, anstatt lediglich bestehende Informationen wiederzugeben. Im Fall von LLMs ist das vor allem Text.
P	P steht für Pretrained (vortrainiert). Das bedeutet, dass das Modell bereits mit grossen Datenmengen trainiert wurde. Es kann also «out of the box» genutzt werden. Dies impliziert aber auch, dass es unveränderlich ist und die inneren Abläufe nicht beeinflusst werden können.
T	Der Begriff bezeichnet die Architektur des Modells. Diese Architektur wird von allen grossen LLMs verwendet und ist besonders effektiv darin, Beziehungen zwischen Wörtern sowie über ganze Textabschnitte hinweg zu erfassen. Dank des Trainings kann das Modell beispielsweise mehrdeutige Wörter wie Bank (Sitzgelegenheit) und Bank (Finanzinstitut) anhand des Kontexts korrekt unterscheiden.

Wichtige Implikationen mit direkten technischen und geschäftlichen Konsequenzen

• Begrenzte Einflussmöglichkeiten: Sie können die interne Logik des Modells nicht verändern[1]. Ihr Einfluss beschränkt sich auf die Text-Eingaben für das Modell (Prompts, Kontext). Das Modell kann von den Trainingsdaten auch Voreingenommenheiten oder Ungenauigkeiten «erben», welche durch geeignete Schutzmechanismen und konstantem Monitoring detektiert werden sollten.

  
  

• Kein aktuelles oder Echtzeit-Wissen: LLMs enthalten Informationen nur bis zu einem bestimmten Stichtag, dem sogenannten Knowledge Cutoff: dem Zeitpunkt, an dem das Training abgeschlossen wurde. Das bedeutet, dass sie keine aktuellen Ereignisse, Vorschriften oder Marktveränderungen widerspiegeln.In zeitkritischen Bereichen benötigen Sie Strategien, um aktuelle Informationen als Input für das Modell bereitzustellen, etwa durch die Integration externer Datenquellen (Internet, Dokumente, Datenbanken usw.).

  
  

• Modell lernt während der Nutzung nicht dazu: Das Modell verbessert sich nicht durch Interaktion. Jede Eingabeaufforderung wird unabhängig verarbeitet, es sei denn, Sie bauen externe Systeme, die den Kontext speichern und diesem später wieder als Input ins Modell einspeisen.

Diese Eigenschaften und die daraus resultierenden Implikationen bestimmen, wie Anwendungen auf Basis von LLMs gestaltet werden müssen, um in Ihrem Unternehmen effektiv und verantwortungsvoll eingesetzt zu werden.

Inside the Black Box: Die zentralen Komponenten, die das Verhalten von LLMs prägen

Anhand des obigen Diagramms betrachten wir die Hauptkomponenten eines LLM und erklären, was in den einzelnen Stufen der Verarbeitungspipeline passiert. Im Diagramm sind die Funktionsblöcke, die die Verarbeitung übernehmen, mit blauen Punkten markiert, während die Daten, die sie verarbeiten oder erzeugen mit grünen Punkten gekennzeichnet sind.

Wie die Verarbeitungs-Pipeline funktioniert

	Der eingegebene Prompt wird vom Tokenizer in kleine Einheiten (Wörter oder Wortbestandteile) zerlegt, den sogenannten Tokens. Jedes Token wird anschliessend durch die Token-ID (Zahl) aus dem Vokabular des Modells ersetzt. Das Ergebnis 🅐 ist nun eine Zahlen-Sequenz (Token-IDs). Der ursprüngliche Text wird verworfen. Beispiel: „Wer war Wilhelm Tell?“ → {93092, 4208, 93537, 25672, 30}
	Die Sequenz der Token-IDs 🅐 {93092, 4208, 93537, 25672, 30} wird in ein grosses neuronales Netzwerk, dem sogenannten Transformer-Modell, eingespeist. Auf Basis von Milliarden Seiten an Trainingsdaten versucht das Modell nun das nächste Token-ID (welches einem Wort oder Wortbestandteil entspricht) vorauszusagen.  Das Ergebnis ist eine Wahrscheinlichkeitsverteilung 🅑 für die nächste Token-ID, welche verschiedene Token-IDs mit den zugehörigen Wahrscheinlichkeiten umfasst.
	Ein Filter wählt die Token-IDs mit den höchsten Wahrscheinlichkeiten aus. Diese sind die Kandidaten für das zu generierende nächste Token 🅒.
	Ein Zufallsauswahl-Algorithmus wählt eine Token-ID 🅓 aus der Menge der Kandidaten aus. Das gewählte Token wird zur Eingabesequenz 🅐 hinzugefügt, und das Transformer-Modell verarbeitet die erweiterte Sequenz, um das nächste Token vorherzusagen. Dieser Schritt führt zum nicht-deterministischen Verhalten von LLM. Dies bedeutet, dass die gleiche Eingabe (Prompt) zu unterschiedlichen Ausgaben führen kann.
	Die ausgewählte Token-ID 🅓 wird vom Detokenizer wieder in Text umgewandelt.Der Ausgabetext entsteht Schritt für Schritt indem die Prozessschritte ,Ž,, mit den jeweils erweiterten Token-ID-Sequenzen 🅐 vielfach wiederholt werden.

Warum diese Komponenten wichtig sind

Die im Diagramm dargestellten und oben beschriebenen Komponenten haben wichtige Implikationen, die jeder verstehen sollte, der LLMs einsetzt.Diese Eigenschaften unterscheiden LLM-basierte Applikationen grundlegend von traditioneller Software. Sie müssen bei der Konzeption, beim Testen und bei der Implementierung solchen Anwendungen unbedingt berücksichtigt werden.

a)      LLMs emulieren Text, ohne ihn im menschlichen Sinne zu verstehen

Der erste Verarbeitungsschritt erfolgt durch den Tokenizer, der den Eingabetext in einzelne Teile zerlegt und jedes Teil durch eine Zahl ersetzt. Ab diesem Moment wird der ursprüngliche Text verworfen und das Modell arbeitet nun nur noch mit Zahlen.

Das ist eine entscheidende Erkenntnis: LLMs „verstehen“ Sprache nicht und denken nicht wie Menschen. Sie ahmen menschlich erstellten Text nach, indem sie das nächste Token auf Basis von Mustern vorhersagen, die aus riesigen Mengen an Trainingsdaten und mathematischen Algorithmen gelernt wurden.

Ein LLM ist kein Therapeut, kein persönlicher Berater und kein Strategie-Consultant: Es ist eine Maschine. Übernehmen Sie deren Ausgaben stets mit Vorsicht und prüfen Sie deren Plausibilität.

b)      LLMs sind nicht-deterministisch

Da zufällige Prozesse beteiligt sind (siehe „Random Picker“ im Diagramm), sind LLMs nicht-deterministisch. Derselbe Prompt kann jedes Mal unterschiedliche Ausgaben erzeugen. Diese Variabilität beeinflusst auch die Qualität – manchmal sind die Antworten hervorragend, manchmal fehlerhaft oder sogar unangemessen.

Was das für LLM-basierte Anwendungen bedeutet:

• Testen ist schwieriger: Sie können sich nicht auf feste Ausgaben bei identischen Eingaben verlassen. Teststrategien müssen die Variabilität berücksichtigen und mehrere Durchläufe einplanen. Die bei konventioneller Software eingesetzten Unit-Tests sind nicht mehr ausreichend.

• Schutzmechanismen sind unverzichtbar: Implementieren Sie Filter, Validierungs-Layer und menschliche Überprüfung (Human in the Loop) für kritische Anwendungsfälle, um Fehler oder unangemessene Inhalte abzufangen.

• Qualitätsmonitoring: Verfolgen Sie die Genauigkeit und Zuverlässigkeit über die Zeit und definieren Sie Schwellenwerte für akzeptable Abweichungen.

c)       Halluzinationen sind kein Ausnahmefall

Das Generieren falscher Ausgaben wird oft als Halluzination bezeichnet. Es ist jedoch wichtig zu verstehen, dass dies keine Anomalie ist. Vielmehr handelt es sich um ein normales Verhalten, das in der Architektur von LLMs begründet ist und nicht um einen seltenen Fehlerfall.

Was das für Sie bedeutet:

• Halluzinationen erwarten: Selbst gut formulierte Prompts können falsche oder irreführende Antworten erzeugen.

• Risiko durch geeignete Massnahmen reduzieren: Behandeln Sie LLM-Ausgaben zuerst mal als Vorschläge, nicht als verbindliche Antworten. Entwickeln Sie Workflows, die die Plausibilität prüfen, bevor Sie darauf basierend handeln. Dies kann teilweise auch wieder mit KI gemacht werden.

Halluzinationen sind kein Bug, sondern eine Folge der Funktionsweise von LLMs. Dieses Verständnis hilft, realistische Erwartungen zu setzen und kostspielige Fehler zu vermeiden.

Key Takeaways für Führungskräfte

• LLMs sind mächtig, aber keine «Wunderwaffe». Sie emulieren Text, ohne ihn zu verstehen.

• Nicht-deterministisch und fehleranfällig. Gleiche Eingaben können unterschiedliche Ergebnisse liefern, inklusive Halluzinationen.

• Governance ist Pflicht. Schutzmechanismen, Monitoring und menschliche Kontrolle sind unverzichtbar.

• Aktualität sicherstellen. Externe Datenquellen integrieren, um den Knowledge Cutoff zu überwinden.

• Risiko reduzieren: LLM-Ausgaben als Vorschläge behandeln, nicht als Fakten. Prozesse müssen Plausibilitätsprüfungen beinhalten.

Oben haben wir das Verhalten von LLMs und die Implikationen ihrer inneren Funktionsweise untersucht.In den kommenden Artikeln werden wir die weitergehenden Herausforderungen beleuchten, die sich daraus ergeben, und erläutern, was sie für die Gestaltung und den Einsatz von LLM-basierten Anwendungen bedeuten.

https://www.linkedin.com/pulse/jeder-ceo-%25C3%25BCber-generative-ki-wissen-sollte-teil-2-wie-markus-hofer-28luf/

---

[1] Einige Modelle erlauben “fine.-tuning”, welches sehr limitierte Änderungen der inneren Logik ermöglichen