Sprachmodelle (LLMs) verstehen
Werbehinweis: Die Produktliste rechts enthält Affiliate-Links (Anzeige). Wenn du darüber kaufst, erhalte ich eine kleine Provision. Die Inhalte bleiben davon unabhängig.
Chat-KIs beruhen auf großen Sprachmodellen (Large Language Models, LLMs). Sie wirken, als würden sie „verstehen“, doch ihr Grundprinzip ist verblüffend einfach: Sie berechnen, welches Textstück am wahrscheinlichsten als Nächstes kommt.
Das Grundprinzip: das nächste Token vorhersagen
Ein Sprachmodell bekommt einen Text und berechnet für jedes mögliche nächste Textstück eine Wahrscheinlichkeit. Eines davon wird ausgewählt, an den Text angehängt, und das Spiel beginnt von vorn. So entsteht Wort für Wort eine Antwort.
Tokens und Kontextfenster
Modelle arbeiten nicht mit Buchstaben oder ganzen Wörtern, sondern mit Tokens: Wortteilen, die ein Verfahren aus häufigen Zeichenfolgen bildet. Lange oder seltene Wörter bestehen aus mehreren Tokens. Im Deutschen braucht ein Text meist mehr Tokens als derselbe Inhalt auf Englisch.
Das Kontextfenster ist die Menge an Tokens, die das Modell auf einmal „im Blick“ hat, also Frage, bisheriger Verlauf, angehängte Dokumente und die eigene Antwort. Was nicht im Kontext steht, kennt das Modell in diesem Gespräch nicht, es sei denn, es steckt in seinen Trainingsdaten.
Transformer und Attention in einem Absatz
Die Architektur heißt Transformer und stammt aus der Veröffentlichung „Attention Is All You Need“ (2017). Ihr Kernmechanismus Attention (Aufmerksamkeit) erlaubt es dem Modell, für jedes Token zu gewichten, welche anderen Tokens im Text gerade wichtig sind. In „Der Hund jagt die Katze, weil sie schnell ist“ hilft das, „sie“ dem richtigen Bezugswort zuzuordnen.
Wie ein Chat-Modell entsteht: drei Phasen
Halluzinationen: warum KI überzeugend falsch liegen kann
Ein Modell optimiert auf „klingt plausibel“, nicht auf „ist nachweislich wahr“. Fehlt ihm Wissen, erfindet es oft trotzdem eine passende Antwort. Man nennt das Halluzination. Besonders riskant sind erfundene Quellen, Zahlen, Zitate, Gesetzesparagrafen und Details zu Randthemen.
Je wichtiger die Aussage, desto sicherer solltest du sie gegenprüfen: in der Originalquelle, nicht nur durch Nachfragen bei derselben KI.
Mittel gegen Halluzinationen: Dokumente direkt mitgeben und die KI nur daraus antworten lassen, Quellenangaben verlangen und prüfen, Websuche-Funktionen nutzen, die Antwort in kleinen Teilen verifizieren.
Stärken und Schwächen im Überblick
| Stark | Schwach |
|---|---|
| Texte entwerfen, umformulieren, zusammenfassen | Verlässliche Fakten ohne Quellenprüfung |
| Übersetzen und Erklären auf verschiedenen Niveaus | Exaktes Rechnen mit langen Zahlen (ohne Rechenwerkzeug) |
| Ideen sammeln, strukturieren, Code entwerfen | Aktuelle Ereignisse ohne Websuche (Wissensstand endet beim Training) |
| Daten in Tabellen oder Listen umformen | Eigene Unsicherheit zuverlässig einschätzen |
Was du daraus mitnehmen kannst
- Ein Sprachmodell ist ein sehr guter Textassistent, aber keine Wissensdatenbank mit Wahrheitsgarantie.
- Klare, kontextreiche Eingaben liefern bessere Ergebnisse, mehr dazu in der Prompting-Anleitung.
- Gib keine vertraulichen Daten in fremde Dienste ein. Mehr dazu unter KI im Alltag und Recht und Ethik.