SELFHTML Weblog - Ergänzung zur Dokumentation Übersicht

In den 1950er- und 1960er-Jahren schien eines ziemlich klar zu sein:

Computer können schnell rechnen. Von Sprache verstehen sie nichts.

Computer waren Rechenmaschinen. Sie konnten Zahlen addieren, Raketenbahnen berechnen und Volkszählungen auswerten.

Während des Kalten Krieges träumte man davon, russische Texte mit Wortlisten automatisch ins Englische zu übersetzen.
Die berühmte Anekdote, dass der Bibelvers „Der Geist ist willig, aber das Fleisch ist schwach.“ nach einer Übersetzung ins Russische und zurück ins Englische zu „Der Wodka ist gut, aber das Fleisch ist verdorben.“ wurde, ist so wohl nie passiert. ^[1] Sie bringt aber ein echtes Problem der damaligen Computerlinguistik ziemlich gut auf den Punkt: Ein Computer kann Wörter übersetzen. Aber woher soll er wissen, was sie in diesem Zusammenhang bedeuten? Auch idiomatische Redewendungen wie „Aus den Augen, aus dem Sinn“ sind für eine Maschine eine Zumutung.

1966 kam der ALPAC-Bericht ^[2] in den USA zu einem ernüchternden Ergebnis: Die automatische Übersetzung funktionierte längst nicht so gut wie erhofft. Weitere Forschungen schienen sinnlos und wurden eingestellt.

Vor allem fehlte den Computern etwas, das Menschen ganz selbstverständlich einsetzen:

Kontext: Von Wörterbüchern zu Sprachmodellen

Ein Mensch weiß, dass eine „Bank“ ein Geldinstitut oder eine Sitzgelegenheit sein kann. Er erkennt normalerweise aus dem Zusammenhang, welche Bedeutung gemeint ist. Ein Computer hatte damals dagegen vor allem Regeln, Wörterbücher und jede Menge guten Willen. Die Folge: Die Erwartungen sanken – und mit ihnen die Forschungsgelder für maschinelle Übersetzung. Die Vorstellung, dass Computer Sprache wirklich verstehen könnten, schien damit für längere Zeit ziemlich weit entfernt.

Und dann kamen die Large Language Models. Und plötzlich machte die Maschine etwas, das frühere Computer nicht konnten: Sie konnte nicht nur Wörter verarbeiten, sondern verblüffend gut vorhersagen, welches Wort als Nächstes passen könnte.
Verstehen? Das ist eine andere Frage.

Wie funktioniert ein LLM?

Ein Large Language Model, kurz LLM, macht zunächst etwas erstaunlich Einfaches:

Es bekommt Text (den sogenannten prompt), zerlegt diesen in seine Bestandteile und berechnet, welches Token wahrscheinlich als Nächstes kommt.

Ein Token ist dabei nicht unbedingt ein ganzes Wort. Das kann ein Wort, ein Wortteil, ein Satzzeichen oder auch ein Leerzeichen sein.

Aus

„Der Hund liegt auf dem …“

könnte das Modell beispielsweise Wahrscheinlichkeiten berechnen:

Das Modell wählt daraus ein Token aus. Dieses wird an den Text angehängt. Dann berechnet es das nächste Token. Und so weiter.

Aus ein paar tausend solcher Entscheidungen kann schließlich eine erstaunlich lange Antwort entstehen.

Aber woher weiß es das alles?

Hier wird es interessant.

Ein LLM wird mit riesigen Mengen an Text trainiert. Dabei bekommt es immer wieder Aufgaben wie:

„Die Sonne scheint und der Himmel ist …“

Das letzte Wort wird entfernt. Das Modell soll es vorhersagen.

Am Anfang ist es darin natürlich miserabel. Aber beim Training werden die Milliarden von Zahlen, aus denen das neuronale Netz besteht, immer wieder ein kleines bisschen verändert.

Nach sehr vielen Wiederholungen entsteht etwas Erstaunliches:

„Die Sonne scheint und der Himmel ist …“

→ blau

aber:

„Der Sturm zieht auf und der Himmel ist …“

→ dunkel

Aber es lernt nicht nur einzelne Wortfolgen. Es entdeckt dabei statistische Zusammenhänge zwischen Wörtern, Satzstrukturen, Begriffen und ganzen Texten.

Der Transformer: Aufmerksamkeit als Herzstück

Moderne LLMs basieren auf einer Architektur namens Transformer.

Der wichtigste Bestandteil ist die sogenannte Attention. Sie ermöglicht dem Modell, beim Verarbeiten eines Satzes zu berücksichtigen, welche anderen Wörter für ein bestimmtes Wort besonders wichtig sind.

Das Modell kann die Beziehung zwischen den Wörtern berücksichtigen und dadurch erkennen, welche Interpretation wahrscheinlicher ist.

„Maria gab Anna das Buch, weil sie es für die Prüfung brauchte.“

Hier muss das Modell Beziehungen über mehrere Wörter hinweg berücksichtigen. Genau dabei ist Attention besonders nützlich.

„Die Bank am Fluss war leer, weil sie geschlossen hatte.“

Hier muss das Modell entscheiden, ob „Bank" eine Sitzbank oder ein Geldinstitut meint, und worauf sich „sie" bezieht. Über die Attention-Mechanik betrachtet das Modell dabei nicht nur benachbarte Wörter, sondern den gesamten Kontext gleichzeitig: „Fluss" spricht für die Sitzbank, „geschlossen" spricht eher für ein Geldinstitut. Das Modell gewichtet all diese Hinweise gegeneinander ab und wählt die wahrscheinlichste Interpretation.

Ein LLM ist im Kern also nichts anderes als eine extrem leistungsfähige Maschine zur Vorhersage des nächsten Tokens, trainiert an riesigen Mengen menschlichen Textes.

Halluzinationen: Wenn Plausibilität die Wahrheit ersetzt

Ein LLM bewertet nicht automatisch, ob eine Aussage wahr ist. Sein grundlegender Mechanismus ist die Vorhersage von Tokens. Deshalb kann eine sprachlich sehr plausible Antwort entstehen, obwohl die darin enthaltene Information falsch ist.

Bei einer Halluzination gibt ein LLM eine erfundene oder falsche Information mit großer Sicherheit als Antwort aus.^[3]

Nutzer: „Die Bank am Fluss war leer, weil sie geschlossen hatte. Wann öffnet die Bank morgen wieder?“

Das Modell hat zunächst ein Problem: Welche Bank ist gemeint?

Ein vorsichtiges System sollte fragen:

„Welche Bank meinst du?“

Ein LLM kann aber durchaus einfach eine Interpretation wählen.

Nutzer: „Die Bank am Fluss ist morgen, am Tag der Deutschen Einheit, geöffnet. Weißt du, bis wann?“

Das Modell könnte darauf antworten:

„Ja, die Bank ist am 3. Oktober von 9 bis 16 Uhr geöffnet.“

Klingt prima. Ist aber möglicherweise komplett erfunden.

Bittet man ein Modell, eine wissenschaftliche Quelle für eine Behauptung zu nennen, erfindet es mitunter einen vollkommen plausibel klingenden Titel, echte Autorennamen und eine Jahreszahl – die Publikation existiert aber schlicht nicht. Das Modell „weiß" nicht, dass es lügt; es setzt lediglich fort, was in ähnlichen Kontexten typischerweise folgt, denn wissenschaftliche Behauptungen werden in Trainingsdaten fast immer mit Quellenangaben begleitet. Ein weiteres Beispiel sind biografische Details: Fragt man nach dem Lebenslauf einer weniger bekannten Person, kann das Modell Studienorte oder Berufsstationen erfinden, die zwar zum „Profil" einer solchen Person passen würden, aber nicht der Realität entsprechen.

Halluzinationen sind also kein Fehler im Sinne eines Bugs, sondern eine direkte Konsequenz davon, wie das Modell überhaupt funktioniert: Es optimiert auf sprachliche Wahrscheinlichkeit, nicht auf Faktentreue.

Warum Sprache klappt, Rechnen aber oft nicht

Hier liegt ein scheinbares Paradox: Warum verstehen LLMs komplexe sprachliche Zusammenhänge, scheitern aber manchmal an einer simplen Rechnung wie 47 × 89?

Der Grund liegt in ihrer Funktionsweise. Ein LLM ist auf Muster und Wahrscheinlichkeiten spezialisiert. Sprache besteht aus solchen Mustern – Mathematik dagegen verlangt exakte, schrittweise Berechnungen.

Zahlen werden wie Text in Tokens zerlegt. Das Modell erkennt zwar, wie eine Rechenaufgabe typischerweise aussieht, führt aber nicht automatisch die Rechnung wie ein Taschenrechner durch. Es erzeugt vielmehr eine wahrscheinliche Fortsetzung.

Bei „2 + 2“ klappt das problemlos – diese Kombination hat das Modell millionenfach gesehen. Bei „47 × 89“ muss es dagegen tatsächlich rechnen. Und genau das gehört nicht zu seinen eigentlichen Stärken.

Fazit

LLMs sind keine denkenden Wesen, sondern hochentwickelte statistische Mustererkenner, die durch die Transformer-Architektur gelernt haben, sprachlichen Kontext meisterhaft zu erfassen. Genau diese Stärke – die Vorhersage plausibler Fortsetzungen – ist zugleich die Ursache für Halluzinationen und die Schwäche bei exakten Berechnungen.

Wer diese Systeme sinnvoll nutzen will, sollte sie daher als brillante Sprachmaschinen verstehen, nicht als allwissende oder unfehlbare Rechner.

→ Teil 2: Warum sagt die KI so gerne „Ja“?
Wenn ein Chatbot lieber zustimmt, als zu widersprechen