KI-Halluzinationen erkennen: So findest du erfundene Angaben vor dem Absenden
Du erfährst, was KI-Halluzinationen sind, was ein echter Gerichtsfall zeigt und wie du Namen, Zahlen, Quellen und Zusagen vor dem Absenden prüfst.
Du kopierst deine Notizen aus einem Kundentelefonat in einen Chatbot und bittest um eine Follow-up-Mail. Der Entwurf liest sich gut. Nur steht darin auch ein Datum, eine Zahl oder eine Zusage, und du weißt nicht mehr, ob das in deinen Notizen stand. Sobald du die Mail abschickst, liest der Kunde jedes dieser Details als deine Aussage. Auf der anderen Seite weiß niemand, welche Teile ein Werkzeug geschrieben hat.
Hier erfährst du, was eine KI-Halluzination ist und was ein echter Gerichtsfall darüber zeigt, wer dafür geradestehen muss. Außerdem bekommst du eine Liste der Angaben, die du prüfen solltest, bevor ein Text mit KI-Hilfe rausgeht. Ein Beispiel zeigt die Prüfung Schritt für Schritt, und zum Schluss siehst du, wie du Entwürfe so erstellst, dass die Fakten von dir kommen.
Was eine KI-Halluzination ist
Das US-amerikanische National Institute of Standards and Technology, kurz NIST, behandelt dieses Risiko in seinem freiwilligen Risikoleitfaden für generative KI. Es nennt das Problem Konfabulation und merkt an, dass im Alltag häufig von Halluzinationen oder erfundenen Inhalten die Rede ist. Gemeint sind falsche oder fehlerhafte Inhalte, die ein Werkzeug so präsentiert, als wären sie gesichert. Die Definition umfasst auch Antworten, die von deinem Prompt oder dem Material abweichen, das du mitgegeben hast, und Antworten, die dem widersprechen, was das Werkzeug zuvor im selben Gespräch gesagt hat.
Im Arbeitsalltag zählt vor allem dieser zweite Teil. Bittest du um eine Zusammenfassung oder eine Überarbeitung, kann das Werkzeug Dinge ergänzen, die nie in deinen Notizen standen. Ein flüssiger Satz und ein sicherer Ton sagen nichts darüber, ob eine Aussage stimmt. NIST weist außerdem darauf hin, dass erfundene Begründungen oder Quellenangaben falsche Antworten glaubwürdiger wirken lassen können.
Riskant wird es, wenn jemand der Antwort vertraut und danach handelt oder sie weitergibt. Bis dahin ist ein falsches Detail nur eine Zeile in deinem Entwurf, die du löschen kannst.
Erfundene Urteile im Fall Mata v. Avianca und warum das Gericht die Anwälte sanktionierte
Ein gut dokumentiertes Beispiel stammt aus einer Entscheidung eines US-Bundesgerichts aus dem Jahr 2023. Im Fall Mata v. Avianca reichten Anwälte Gerichtsentscheidungen ein, die es nicht gab, samt erfundener Zitate und Quellenangaben, die ChatGPT erzeugt hatte.
Die Gegenseite und danach das Gericht stellten die Fälle infrage, doch die Anwälte hielten an ihnen fest. Das Gericht kam zu dem Schluss, dass sie bösgläubig gehandelt hatten, und stützte sich dabei auf bewusstes Wegsehen sowie auf falsche oder irreführende Aussagen. Es verhängte gegen die Anwälte gemeinsam eine Geldbuße von 5.000 US-Dollar und verpflichtete sie, ihren Mandanten und jeden Richter zu benachrichtigen, den die erfundenen Entscheidungen fälschlich als Verfasser nannten.
Am Anfang standen die erfundenen Quellenangaben. Die Bösgläubigkeit sah das Gericht aber auch darin, wie sich die Anwälte verhielten, nachdem die Fälle infrage gestellt worden waren. Zugleich hielt es fest, dass es an sich nichts Unzulässiges ist, sich von einem zuverlässigen KI-Werkzeug helfen zu lassen. Anwälte bleiben trotzdem in der Pflicht, als Kontrollinstanz dafür zu sorgen, dass ihre Schriftsätze korrekt sind.
Diese Pflicht gilt für Anwälte, die bei Gericht Schriftsätze einreichen, und der Fall legt keine Regel für jeden Beruf fest. Trotzdem lassen sich zwei praktische Lehren daraus ziehen:
- Ein Werkzeug hat die falschen Inhalte erzeugt, geradestehen mussten dafür die Anwälte.
- Stellt jemand ein Detail infrage, geh zurück zur Quelle und korrigier es, wenn es falsch ist. Im Fall Mata hat das Festhalten an ungeprüftem Material die Lage verschlimmert.
Was zwei Studien über KI-Hilfe und übersehene Fehler herausgefunden haben
Nichts davon heißt, dass KI die Arbeit schlechter macht. In einem randomisierten Experiment mit 758 Beratern der Boston Consulting Group ging es unter anderem um 18 Aufgaben, die so angelegt waren, dass sie dem Modell GPT-4 lagen. Berater mit GPT-4 schlossen dabei 12,2 Prozent mehr Aufgaben ab. Sie waren im Schnitt 25,1 Prozent schneller fertig und bekamen bessere Bewertungen für die Qualität. Bei einer Strategieaufgabe, die bewusst außerhalb dessen lag, was das Modell leisten konnte, sah es anders aus. Dort war die Wahrscheinlichkeit, die richtige Antwort zu finden, bei den Beratern mit KI um 19 Prozentpunkte niedriger als in der Kontrollgruppe.
Dieser Rückgang um 19 Prozentpunkte ist keine allgemeine Fehlerquote von KI. Er stammt aus einer einzigen Aufgabe, und die Autoren bezeichnen das als Einschränkung ihrer Studie. Außerdem lief das Experiment mit GPT-4 im Stand von Ende April 2023, und die Ergebnisse beziehen sich auf Berater bei Beratungsaufgaben.
Eine Umfrage von 2025 unter 319 Wissensarbeitern hat untersucht, wie es um kritisches Denken bei der Arbeit mit KI steht. Alle Befragten nutzten generative KI mindestens einmal pro Woche im Job und schilderten zusammen 936 Beispiele aus ihrer eigenen Arbeit. Je mehr sie der KI eine bestimmte Aufgabe zutrauten, desto weniger kritisches Denken gaben sie an. Die Umfrage beruht auf Selbstauskünften von Befragten, die fließend Englisch sprechen, und die Stichprobe bestand eher aus jüngeren, technisch versierten Menschen. Das Ergebnis zeigt also einen Zusammenhang. Es beweist nicht, dass jemand wegen der KI weniger nachgedacht hat. Laut den Autoren verlagert sich die Arbeit hin zum Prüfen von Informationen, zum Einpassen der Antwort in die Aufgabe und zur Kontrolle des Ergebnisses. Die Verantwortung für die Arbeit bleibt aus ihrer Sicht beim Menschen.
Ein Schluss scheint gerechtfertigt, auch wenn keine der beiden Studien ihn direkt getestet hat. Kontrollen fallen am ehesten bei Aufgaben unter den Tisch, bei denen du dir sicher bist, dass die KI sie im Griff hat. Mach das Prüfen deshalb zu einem festen Arbeitsschritt.
So prüfst du Texte mit KI-Hilfe, bevor du sie verschickst
NIST empfiehlt Organisationen, Antworten generativer KI mit bekannten Fakten abzugleichen, Faktenchecks durchzuführen und Quellen sowie Quellenangaben zu überprüfen. Für eine einzelne E-Mail, eine Zusammenfassung oder einen Bericht läuft das auf drei Schritte hinaus.
- Trenn Wortlaut und Fakten. Den Wortlaut kannst du behalten, wenn er dir gefällt. Jede Sachangabe gilt aber als unbestätigt, bis du sie geprüft hast.
- Gleich jedes Detail mit dem Ausgangsmaterial ab, etwa mit deinen Notizen, dem Vertrag, der Preisliste oder dem Originaldokument. Was in einer Zusammenfassung steht, aber nicht in der Vorlage, ist eine Ergänzung. Streich es oder bestätige es anhand einer anderen Quelle.
- Öffne jeden Link und jede zitierte Quelle selbst. Prüf, ob es die Quelle wirklich gibt und ob sie sagt, was der Entwurf behauptet. Denselben Chatbot zu fragen, ob seine Antwort stimmt, ersetzt diesen Schritt nicht.
Bei diesen Angaben lohnt sich der genaueste Blick, weil ein Fehler darin verändert, was du jemandem mitteilst:
- Namen von Personen, Firmen und Produkten
- Zahlen, Beträge und Einheiten
- Datumsangaben und Fristen
- Zitate, Wort für Wort mit der Quelle verglichen
- Links und Quellenangaben
- Preise, Richtlinien und Regeln
- Zusagen in deinem Namen, etwa Rabatte, Termine oder nächste Schritte
- Verneinungen, denn ein fehlendes „nicht“ verkehrt einen Satz ins Gegenteil
Richte den Aufwand danach, was auf dem Spiel steht. Eine holprige Formulierung in einem internen Entwurf lässt sich später leicht ausbessern. Ein Fehler bei einem Preis, einer Richtlinie, einer rechtlichen Quellenangabe, einer medizinischen Angabe oder einer Zusage an Kunden trifft dagegen andere Menschen. Kannst du eine wichtige Aussage nicht selbst beurteilen, frag einen fachkundigen Kollegen oder prüf sie anhand einer maßgeblichen Quelle, bevor du den Text verschickst.
Beispiel: ein erfundener Rabatt in einer Kundenmail
Das folgende Beispiel ist erfunden. Es zeigt eine gewöhnliche Büroaufgabe und stammt aus keinem bestimmten Werkzeug.
Deine Notizen nach einem Telefonat:
Telefonat mit Norberg Studio. Sie möchten ein überarbeitetes Angebot für zwei zusätzliche Workshops. Versand nächste Woche.
Ein Satz aus dem KI-Entwurf:
Wie in unserem Gespräch vereinbart, schicken wir das überarbeitete Angebot bis Freitag, 2. Oktober, einschließlich des Rabatts von 10 Prozent für die zwei zusätzlichen Workshops.
Vergleich den Satz jetzt Detail für Detail mit den Notizen.
- „Wie in unserem Gespräch vereinbart“ behauptet eine Vereinbarung. In den Notizen steht nur eine Anfrage.
- „Freitag, 2. Oktober“ ist ein konkretes Datum. In den Notizen steht „nächste Woche“.
- Der Rabatt von 10 Prozent kommt in den Notizen nirgends vor.
Alle drei sind Ergänzungen, die von deiner Eingabe abweichen. Genau solche Abweichungen schließt die NIST-Definition ein. Der Satz klingt höflich und professionell, und deshalb winkt man ihn leicht durch. Ist die Mail erst verschickt, hat der Kunde einen Rabatt und ein Datum schriftlich, denen niemand zugestimmt hat.
Der korrigierte Satz hält sich an das, was in den Notizen steht:
Das überarbeitete Angebot für die zwei zusätzlichen Workshops schicken wir nächste Woche.
Mit Yappee entwerfen, damit die Fakten von dir kommen
Prüfen fällt leichter, wenn du weißt, woher jede Angabe in einem Entwurf stammt. Mit Yappee sprichst du deine Gedanken auf dem iPhone oder Mac ein und wählst ein Format wie „E-Mail“, „Meeting-Recap“, „Chat-Nachricht“ oder „Status-Update“. Das sind nur einige der Formate. Du kannst den Text auch in einer anderen der über 50 unterstützten Sprachen schreiben lassen.
Yappee ist darauf ausgelegt, nur mit dem zu arbeiten, was du sagst. Was du nicht gesagt hast, steht auch nicht im fertigen Text, und Yappee füllt keine Lücken mit erfundenen Details. Yappee kümmert sich um Format und Formulierung, die Fakten kommen von dir.
Sprich also bei der Aufnahme jede Angabe aus, die der Text braucht. Soll die E-Mail einen Preis, ein Datum oder eine Zusage enthalten, gehört das in die Aufnahme. Lässt du es weg, fehlt es auch in der E-Mail, und du kannst es ergänzen oder neu aufnehmen. Deine Prüfung wird dann zum Abgleich zwischen dem Entwurf und dem, was du gesagt hast.
Das ist ein Designprinzip. Es verspricht nicht, dass jedes Ergebnis fehlerfrei ist. Aus einer falschen Angabe in deiner Aufnahme macht Yappee außerdem keine richtige. Prüf deshalb vor dem Absenden Namen, Zahlen, Datumsangaben und Zusagen, auch in übersetzten Texten.
Lass dir von KI bei der Formulierung helfen und gleich jede Angabe mit ihrer Quelle ab. Stellt jemand ein Detail infrage, geh zurück zur Quelle und korrigier es, wenn es falsch ist. Unter dem, was du verschickst, steht dein Name, egal welches Werkzeug den ersten Entwurf geschrieben hat.