Warum überzeugend nicht richtig heißt

▸MODUL 1 / GRUNDLAGE

Worüber wir hier reden

Die meisten Menschen benutzen ein Sprachmodell eine Weile, bevor sie zum ersten Mal merken, dass es sie angelogen hat. Nicht böswillig, sondern beiläufig: ein Paragraf, den es nicht gibt, eine Funktion, die die Bibliothek nie hatte, ein Datum, das um zwei Jahre danebenliegt. Und fast immer im selben ruhigen, kompetenten Ton wie alles andere davor. Genau darum geht es in dieser ersten Lektion. Nicht darum, dass Modelle Fehler machen, sondern darum, warum du diese Fehler nicht am Ton erkennen kannst und warum ein selbstsicherer Satz kein Hinweis auf Richtigkeit ist.

Ein Modell sagt das Wahrscheinliche, nicht das Wahre

Ein Sprachmodell hat keine Datenbank, in der Tatsachen liegen und aus der es nachschlägt. Es sagt Wort für Wort voraus, welche Fortsetzung zu allem passt, was bisher dasteht. Das Ergebnis ist ein Text, der sich so liest, wie ein Text zu diesem Thema üblicherweise aussieht. Ob die einzelnen Behauptungen darin stimmen, ist für diesen Vorgang keine eigene Frage.

Stell dir jemanden vor, der tausend Verträge gelesen hat und jetzt aus dem Gedächtnis einen neuen formuliert. Der Aufbau wird stimmen, der Tonfall auch, die Formulierungen klingen vertraut. Ob der Paragraf, den er zitiert, in deinem Vertrag genau so steht, hat er nie geprüft. Er hat ihn erinnert, und Erinnerung füllt Lücken, ohne die Lücke zu melden.

Deshalb ist das, was gemeinhin Halluzination genannt wird, kein Defekt, den man wegkonfiguriert. Es ist die Kehrseite derselben Fähigkeit, die das Modell nützlich macht. Ein System, das flüssig weiterschreibt, schreibt auch dort weiter, wo es nichts weiß.

Drei Antworten, die richtig klangen und es nicht waren

Der erste Fall ist der klassische: eine erfundene Fundstelle. Du fragst nach der Rechtslage, bekommst eine saubere Antwort mit Paragrafennummer, und die Nummer existiert, sagt aber etwas anderes. Die Zahl war plausibel, also stand sie da.

Der zweite Fall ist gefährlicher, weil er stiller ist: die halbrichtige Antwort. Vier Sätze stimmen, der fünfte enthält eine Bedingung, die es nicht gibt. Weil vier Fünftel korrekt sind, liest du über das letzte Fünftel hinweg. Deine Aufmerksamkeit sinkt mit jedem Satz, der stimmt.

Der dritte Fall ist der teuerste: die veraltete Antwort. Sie war einmal richtig. Ein Modell kennt die Welt bis zu einem bestimmten Stand, und was danach passiert ist, fehlt ihm, ohne dass es das ankündigt. Preise, Grenzwerte, Schnittstellen, Zuständigkeiten, all das altert schnell. Die Antwort ist nicht falsch erfunden, sie ist nur nicht mehr wahr.

Warum du den Fehler nicht siehst, wenn du das Thema nicht kennst

Es gibt eine unangenehme Regel dahinter. Du erkennst einen Modellfehler zuverlässig genau dann, wenn du die richtige Antwort ohnehin schon weißt. In deinem Fachgebiet zuckst du zusammen, wenn ein Satz nicht stimmt. Zwei Themen weiter, genau dort, wo du das Modell eigentlich brauchst, fehlt dir dieser Reflex komplett.

Dazu kommt, dass Sprache Sicherheit signalisiert. Kurze Hauptsätze, klare Struktur, keine Einschränkungen: Das lesen wir als Kompetenz, weil wir es bei Menschen so gelernt haben. Ein Mensch, der sich unsicher ist, hört man das an. Ein Modell formuliert eine erfundene Zahl im selben Register wie eine belegte. Der Ton trägt schlicht keine Information über den Wahrheitsgehalt.

Der Selbsttest, den du jetzt machst

Bevor du weiterliest, mach dir den Effekt einmal an deinem eigenen Fachgebiet klar. Stell eine Frage, deren Antwort du sicher kennst, und verlange danach für jede einzelne Tatsachenbehauptung einen überprüfbaren Beleg. Interessant ist nicht die erste Antwort, sondern was passiert, wenn du nachfasst.

Beantworte mir diese Frage aus meinem Fachgebiet:
<deine Frage hier einsetzen>

Danach machst du einen zweiten Durchgang über deine eigene Antwort:
1. Zerlege deine Antwort in einzelne Tatsachenbehauptungen, eine pro Zeile.
2. Schreibe hinter jede Behauptung, worauf sie beruht: konkrete Quelle,
   allgemeines Modellwissen oder Vermutung.
3. Markiere ausdrücklich jede Behauptung, für die du keinen überprüfbaren
   Beleg nennen kannst.
4. Sag mir am Ende in einem Satz, welcher Teil deiner Antwort am
   ehesten falsch sein könnte und warum.

Erfinde keine Quellen. Wenn du eine Fundstelle nicht sicher kennst,
schreibe "keine belastbare Quelle" statt einer plausiblen Nummer.

Vergleiche die markierten Zeilen mit dem, was du selbst weißt. Meist stehen die Fehler genau dort, wo in Schritt drei nichts Konkretes stand.

Die ehrliche Einordnung

Dieser Kurs macht dein Modell nicht ehrlicher. Er macht dich unabhängiger davon, dass es ehrlich ist. Du bekommst hier Verfahren: Belege im Prompt erzwingen, Antworten getrennt gegen ihre Quelle prüfen lassen, Form maschinell validieren, echte Fälle als Prüfset sammeln. Was du nicht bekommst, ist eine Garantie. Am Ende bleibt eine Restfehlerquote, und der ehrliche Umgang damit ist, sie zu kennen und zu benennen, statt sie wegzureden.

Was dieser Kurs ebenfalls nicht ist: eine Rechtsberatung. Wir bleiben durchgehend technisch. Wenn du noch gar keinen Umgang mit Prompts hast, ist der Gratis-Kurs Werkbank der bessere Einstieg, und wer Prüfen als Arbeitshaltung im Werkzeug selbst sucht, findet das in Claude Code Capabilities. In der nächsten Lektion hörst du auf, allgemein über Fehler zu reden, und sortierst deine eigenen Anwendungsfälle danach, wo ein Fehler dich wirklich etwas kostet.