Halluzinationen erkennen: Wie man KI-Ausgaben systematisch prüft

Eine Halluzination ist kein Defekt, sondern eine Eigenschaft.

Die österreichische KI-Servicestelle beschreibt es nüchtern: Von einer Halluzination spricht man, wenn ein KI-Modell Informationen erzeugt, die nicht auf Trainingsdaten oder realen Fakten beruhen.

Wichtig ist, was daraus folgt. Ein Sprachmodell prüft nichts. Es setzt fort, was sprachlich plausibel ist. Eine erfundene Angabe entsteht deshalb nicht, weil das System einen Fehler macht, sondern weil es genau das tut, wofür es gebaut wurde — nur eben an einer Stelle, an der Plausibilität und Wahrheit auseinandergehen.

Das ist die praktisch wichtigste Konsequenz: Man kann Halluzinationen nicht wegtrainieren und nicht wegkonfigurieren. Man kann sie nur erkennen. Deshalb gehört die Prüfung nicht in die Werkzeugauswahl, sondern in den Arbeitsablauf.

Quelle: KI-Servicestelle der RTR, Häufige Fragen zu KI-Systemen

Warum erfundene Angaben so selten auffallen.

Ein Rechtschreibfehler springt ins Auge. Eine erfundene Jahreszahl nicht. Der Grund liegt in drei Eigenschaften, die jede KI-Ausgabe mitbringt:

• Sie ist flüssig.Sauber formulierter Text wirkt geleitet und geprüft. Wir lesen Sprachqualität unbewusst als Sachqualität.
• Sie ist gleichmäßig sicher.Richtiges und Erfundenes klingen identisch. Es gibt kein Zögern, keine Einschränkung, die auf die schwache Stelle hinweist.
• Sie ist richtig formatiert.Eine Quellenangabe im richtigen Format liest sich wie eine geprüfte Quellenangabe — auch wenn es die Fundstelle nicht gibt.

Daraus folgt eine nützliche Faustregel: Nicht der Text wird geprüft, sondern das Nachprüfbare darin. Erfahrungsgemäß sind das immer dieselben Kategorien — Zahlen und Beträge, Eigennamen, Zitate, Paragrafen und Normen, Datumsangaben, Fristen und Quellenangaben. Alles andere ist Formulierung.

Fünf Schritte, die zusammen unter zwei Minuten brauchen.

Der Aufwand entsteht nicht durch das Prüfen, sondern durch das Suchen nach dem, was zu prüfen ist. Eine feste Reihenfolge nimmt genau diesen Teil ab.

1. Behauptung herauslösen: Welche einzelne, nachprüfbare Aussage steht hier? Ein Absatz enthält oft drei davon, geprüft wird jede für sich.
2. Risiko einstufen: Geht es um eine der Kategorien oben? Dann prüfen. Geht es um Gliederung oder Tonfall, genügt fachliches Gegenlesen.
3. An der Quelle prüfen, nicht am System: Gegen das Original — Gesetzestext, Vertrag, Preisliste, Website des Herausgebers.
4. Auf Weggelassenes achten: Die unauffälligere Fehlerart. Was fehlt? Ausnahmen, Bedingungen, der zweite Teil einer Regel.
5. Entscheiden und festhalten: Übernehmen, korrigieren oder verwerfen — und bei allem, was das Haus verlässt, vermerken, wer geprüft hat.

Der dritte Schritt wird am häufigsten falsch gemacht, deshalb sei er hervorgehoben: Dasselbe System noch einmal zu fragen, ob seine Antwort stimmt, ist keine Prüfung. Ein Modell, das eine Angabe erfunden hat, bestätigt sie auf Nachfrage bereitwillig — und liefert auf Zweifel hin ebenso bereitwillig eine andere. Beides sagt nichts über den Sachverhalt aus.

Die Prüfung ist mehr als Qualitätssicherung.

In den meisten Betrieben gilt das Gegenlesen als Frage der Sorgfalt. Es hat aber noch eine zweite Seite. Die KI-Servicestelle weist im Zusammenhang mit den Transparenzpflichten darauf hin, dass eine Kennzeichnungspflicht für KI-erzeugte Texte dann entfallen kann, wenn der Text einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurde.

Ob und wie das auf einen konkreten Fall zutrifft, entscheidet nicht dieser Beitrag, sondern die bei Ihnen zuständige Stelle. Festhalten lässt sich aber: Wer ohnehin prüft und das nachvollziehbar festhält, steht besser da als jemand, der es nur beteuert.

Dieselbe Servicestelle nennt Bewusstseinsbildung und Schulung ausdrücklich als Mittel gegen Halluzinationen — verbunden mit dem Hinweis, die Antworten eines KI-Systems kritisch zu hinterfragen. Genau das ist der Punkt, an dem KI-Kompetenz aufhört, ein abstrakter Begriff zu sein.

Vier Gewohnheiten, die der Prüfung im Weg stehen.

• Der Selbstsicherheit folgen.Wie überzeugt eine Antwort klingt, sagt nichts darüber, wie belastbar sie ist.
• Quellenangaben ungeprüft übernehmen.Gerade sie sehen echt aus. Ein Link, der nicht geöffnet wurde, ist kein Beleg.
• Nur die erste Ausgabe prüfen.Nach drei Nachbesserungen prüft kaum jemand nochmal — dabei kommen die Fehler oft erst dort hinein.
• Prüfung als Misstrauen deuten.Wer gegenliest, kontrolliert keine Kolleginnen, sondern ein Werkzeug. Dieser Unterschied gehört ausgesprochen.

Diese vier Punkte lassen sich nicht per Richtlinie abstellen. Sie ändern sich, wenn ein Team einmal gemeinsam an echten Beispielen gesehen hat, wie unauffällig eine erfundene Angabe daherkommt. Genau dafür sind die Lernwege gedacht.