Halluzinationen: Warum KI Fehler erfindet und wie Kanzleien vorbeugen

Ein Schriftsatz zitiert vier Entscheidungen, die es nicht gibt, und drei weitere mit falschem Inhalt – das Bundesarbeitsgericht verwirft das Rechtsmittel als unzulässig. Was nach einer Anekdote klingt, ist Teil einer Vielzahl dokumentierter Fälle im In- und Ausland. Die Ursache liegt in der Funktionsweise von Sprachmodellen, die Verantwortung bei der unterzeichnenden Anwältin oder dem unterzeichnenden Anwalt. Die gute Nachricht: Mit den richtigen Arbeitsabläufen ist das Risiko beherrschbar.

Was mit Halluzinationen gemeint ist

Als Halluzinationen bezeichnet die BRAK Inhalte, die logisch erscheinen, jedoch faktisch falsch sind. Forschende der Stanford University unterscheiden in ihren Untersuchungen zu juristischen KI-Werkzeugen zwei Grundformen: Antworten, die Recht oder Tatsachen falsch darstellen, und Antworten, die zwar inhaltlich zutreffen, sich aber auf Quellen stützen, die die Aussage nicht tragen. Beide sind in der anwaltlichen Arbeit gefährlich – die zweite, weil sie bei oberflächlicher Kontrolle unentdeckt bleibt.

Warum Sprachmodelle Fehler erfinden

• Wahrscheinlichkeit statt Wissen. Sprachmodelle erzeugen Text, indem sie fortlaufend eine wahrscheinliche Fortsetzung berechnen. Ob eine Aussage stimmt, prüfen sie dabei nicht.
• Zitate sind ideale Muster. Gericht, Datum, Aktenzeichen, Zeitschrift, Seite – das Format ist hoch standardisiert. Ein Modell kann es mühelos reproduzieren, auch wenn keine passende Entscheidung existiert.
• Wissenslücken. Ein großer Teil der deutschen Rechtsprechung und Kommentarliteratur ist nur in lizenzierten Datenbanken zugänglich. Was ein Modell nicht kennt, ergänzt es im Zweifel plausibel.
• Raten wird belohnt. Forschende von OpenAI und dem Georgia Institute of Technology haben 2025 dargelegt, dass gängige Trainings- und Bewertungsverfahren Raten gegenüber dem Eingeständnis von Unsicherheit begünstigen – ähnlich einer Prüfung, in der eine geratene Antwort mehr Punkte bringt als „weiß ich nicht“.
• Suggestive Fragen. Wer gezielt nach Belegen für eine bestimmte Position fragt, erhöht das Risiko, passende, aber unzutreffende „Belege“ zu erhalten.
• Fehler in der Quellenanbindung. Auch Systeme mit Datenbankzugriff können die falsche Quelle abrufen, sie unvollständig auswerten oder ihr eine Aussage zuschreiben, die sie nicht trägt.

Wie groß das Problem ist, zeigen Untersuchungen der Stanford University: Spezialisierte juristische Recherchewerkzeuge mit Quellenanbindung lieferten 2024 bei mehr als jeder sechsten Testanfrage falsche oder nicht tragfähig belegte Antworten. Für allgemeine Chatbots hatte eine frühere Studie desselben Teams bei juristischen Fragen Fehlerquoten zwischen 58 und 82 Prozent ermittelt. Die Werte beschreiben den damaligen Entwicklungsstand; die Lehre daraus gilt unabhängig davon: Quellenanbindung reduziert Fehler, beseitigt sie aber nicht.

Ein Sprachmodell formuliert eine Wissenslücke so überzeugend wie eine richtige Antwort.

Typische Formen in der juristischen Arbeit

Besonders tückisch ist die zweite Form: Wer nur prüft, ob eine Fundstelle existiert, findet sie – und übersieht, dass sie etwas anderes besagt.

Fälle aus Deutschland

AG Köln: frei erfundene Fundstellen im Sorgerechtsverfahren

In einer Familiensache führte der Verfahrensbevollmächtigte der Antragsgegnerseite Voraussetzungen und Fundstellen an, die nicht aus den zitierten Quellen stammten: eine Kommentarstelle mit nicht existierender Randnummer, eine nicht auffindbare Monografie, Zeitschriftenfundstellen mit anderem Inhalt. Das Amtsgericht Köln hielt die Ausführungen mit Beschluss vom 2. Juli 2025 (312 F 130/25) für „offenbar mittels künstlicher Intelligenz generiert und frei erfunden“ und wies auf einen möglichen Verstoß gegen § 43a Abs. 3 BRAO hin. Ob dieses Sachlichkeitsgebot, das an die bewusste Verbreitung von Unwahrheiten anknüpft, auch fahrlässige KI-Fehler erfasst, ist in der Fachdiskussion umstritten.

LG Frankfurt am Main: angebliche BGH-Zitate

Im Berufungsverfahren um eine bauliche Veränderung im Wohnungseigentum legte der Klägervertreter drei ausführliche, als wörtlich gekennzeichnete Zitate aus BGH-Entscheidungen vor. Fundstellen, Daten und Aktenzeichen existierten nicht. Das Landgericht Frankfurt am Main stellte mit Beschluss vom 25. September 2025 (2-13 S 56/24) klar, dass es zu den Grundpflichten anwaltlicher Tätigkeit gehört, keine Fundstellen zu erfinden und von einem Chatbot vorgeschlagene Quellen nicht ungeprüft zu übernehmen. Die Unzuverlässigkeit juristischer Aussagen solcher Systeme müsse einem Rechtsanwalt bekannt sein.

Kammergericht: „fantasierende“ KI

In einem familienrechtlichen Beschwerdeverfahren zitierte eine Verfahrensbevollmächtigte eine BGH-Entscheidung, die nicht existiert; unter der angegebenen FamRZ-Fundstelle ist eine Entscheidung mit anderem Datum und Gegenstand abgedruckt. Auch eine zitierte OLG-Entscheidung gab es nicht. Das Kammergericht hielt mit Beschluss vom 20. November 2025 (17 WF 144/25) fest, die Schriftsätze seien offensichtlich mithilfe von KI verfasst und die eingefügten Zitate nicht überprüft worden. Anwältinnen und Anwälte dürften sich von KI helfen lassen, müssten aber insbesondere zitierte Fundstellen nachprüfen. Diese Pflicht folge aus dem Mandatsverhältnis und der Stellung als Organ der Rechtspflege.

Bundesarbeitsgericht: Rechtsmittel unzulässig

Einen Schritt weiter ging das Bundesarbeitsgericht. Die Begründung einer Nichtzulassungsbeschwerde in einem Kündigungsschutzverfahren enthielt vier nicht existierende Entscheidungen und drei weitere mit unzutreffend wiedergegebenem Inhalt; sie wich zudem in Gestaltung und Sprache deutlich von den übrigen Schriftsätzen des Prozessbevollmächtigten ab. Mit Beschluss vom 30. September 2026 (2 AZN 339/26) verwarf das BAG die Beschwerde als unzulässig.

Vor dem BAG besteht Vertretungszwang (§ 11 Abs. 4 ArbGG). Ein Schriftsatz genügt dem nur, wenn die unterzeichnende Person ihn selbst geprüft und die volle Verantwortung übernommen hat. Grundsätzlich reicht dafür die Unterschrift – nicht aber, wenn feststeht, dass ohne Prüfung unterschrieben wurde. Das Gericht hielt es für „schlechthin ausgeschlossen“, dass eine Prüfung stattgefunden hatte. Die spätere Erklärung, man übernehme die Verantwortung, kam nach Ablauf der Begründungsfrist und blieb deshalb unbeachtlich.

Bemerkenswert: Das BAG hat nicht festgestellt, dass KI die Ursache war; es sprach von sogenannten Halluzinationen und verwies auf die Hinweise der BRAK. Entscheidend war nicht der KI-Einsatz, sondern die fehlende anwaltliche Prüfung. Ob andere Gerichte in Verfahren mit Anwaltszwang ebenso entscheiden, ist offen. Auch bei Beteiligten ohne anwaltliche Vertretung prüfen Gerichte genau: Der Bayerische Verfassungsgerichtshof vermutete in einer Entscheidung vom 23. September 2026 (Vf. 9-VI-25), dass die von einem Beschwerdeführer angeführten, nicht existierenden Entscheidungen wohl mithilfe „halluzinierender“ KI entstanden waren.

Internationale Fälle

Eine von dem Juristen Damien Charlotin geführte öffentliche Datenbank verzeichnet weltweit mehr als 2.000 Gerichtsentscheidungen, in denen KI-generierte Falschangaben eine Rolle spielten. Einige Fälle haben besondere Beachtung gefunden:

Der englische High Court formulierte eine Kernaussage, die über den Einzelfall hinausweist: Frei verfügbare generative KI-Werkzeuge seien nicht in der Lage, verlässliche juristische Recherche zu leisten; sie könnten scheinbar kohärente und plausible Antworten liefern, die vollständig falsch sind. Im Fall Johnson v. Dunn hielt das Gericht Geldbuße und Rüge für unzureichend – auch weil die Kanzlei intern wiederholt vor KI-Risiken gewarnt und entsprechende Regeln aufgestellt hatte. Eine Richtlinie wirkt eben nur, wenn sie gelebt wird.

Sorgfaltspflichten und Haftung

Die rechtliche Bewertung ist in den Grundzügen klar: Nicht der KI-Einsatz ist pflichtwidrig, sondern die unterlassene Prüfung.

Berufsrecht

§ 43 BRAO verlangt gewissenhafte Berufsausübung; die BRAK fordert eine eigenverantwortliche Überprüfung und Endkontrolle aller KI-Ergebnisse. Bei bewusst unwahren Angaben kann zudem § 43a Abs. 3 BRAO berührt sein.

Prozessrecht

In Verfahren mit Vertretungszwang kann ein offensichtlich ungeprüfter Schriftsatz nach der Entscheidung des BAG unwirksam sein – mit der Folge versäumter Fristen und unzulässiger Rechtsmittel.

Zivilrechtliche Haftung

Der Anwaltsvertrag verpflichtet zu sorgfältiger Bearbeitung. Führt ein ungeprüftes KI-Ergebnis zu einem Schaden, kommt eine Haftung nach § 280 Abs. 1 BGB in Betracht. Die Delegation an eine Maschine entlastet ebenso wenig wie die an eine unzureichend kontrollierte Hilfsperson.

Versicherung

Die BRAK weist darauf hin, dass bei hohem Automatisierungsgrad fraglich werden kann, ob noch anwaltliche Tätigkeit vorliegt – mit möglichen Folgen für den Versicherungsschutz. Klären Sie Deckungsfragen frühzeitig mit Ihrem Berufshaftpflichtversicherer.

Strafrecht

Ein (versuchter) Prozessbetrug wurde in der Fachdiskussion erörtert; in den hier dargestellten deutschen Fällen hat kein Gericht eine Strafbarkeit festgestellt.

Hinzu kommt die Verantwortung für die Kanzleiorganisation: Wer Mitarbeitenden KI-Tools bereitstellt, sollte durch Regeln, Schulung und Kontrollen sicherstellen, dass die Prüfung tatsächlich stattfindet. Wie das in einer KI-Richtlinie verankert wird, beschreibt der gleichnamige Beitrag.

Wirksame Gegenmaßnahmen

Quellenbindung

Bei Retrieval-Augmented Generation (RAG) sucht das System zunächst passende Dokumente – in lizenzierten Datenbanken, im eigenen Dokumentenmanagement oder in hochgeladenen Akten – und formuliert die Antwort auf dieser Grundlage. Das senkt das Risiko erfundener Quellen deutlich, aber nicht auf null. Achten Sie bei der Tool-Auswahl darauf, dass jede Aussage mit einer überprüfbaren Fundstelle verlinkt ist und das System kenntlich macht, wenn die Quellen keine Antwort hergeben. Wie eigene Wissensbestände dafür aufbereitet werden, zeigt der Beitrag zum Wissensmanagement.

Gestufte Prüf-Workflows

Prompting, das Fehler sichtbar macht

Gute Anweisungen verhindern Halluzinationen nicht, machen sie aber leichter erkennbar. Hilfreich sind einige Grundregeln: Quellen vorgeben statt erfragen; Unsicherheit ausdrücklich erlauben; zu jeder Aussage eine Fundstelle mit Seite oder Randnummer verlangen; neutral fragen statt nach Belegen für ein gewünschtes Ergebnis; und Aufgaben trennen – erst Fakten extrahieren, dann rechtlich würdigen. Weitere Techniken beschreibt der Beitrag zum Prompting.

Beantworte die folgende Frage ausschließlich auf Grundlage der beigefügten Dokumente [Dokument A], [Dokument B].

Frage: [Rechtsfrage ohne Mandantendaten]

Regeln:
- Belege jede Aussage mit Dokument und Seite oder Randnummer.
- Zitiere wörtlich nur Passagen, die exakt so im Dokument stehen.
- Wenn die Dokumente die Frage nicht beantworten, schreibe: „In den Unterlagen nicht belegt.“
- Ergänze keine Entscheidungen, Normen oder Literatur aus eigenem Wissen.

Erstelle aus dem folgenden Entwurf eine Tabelle aller Fundstellen (Entscheidungen, Normen, Literatur) mit drei Spalten: Fundstelle wie im Text, behauptete Aussage, Abschnitt im Entwurf.
Bewerte nichts und ergänze nichts. Die Liste dient der Prüfung in den Originalquellen.

[Entwurf – nur in einem für Mandatsdaten freigegebenen Tool]

Vier-Augen-Prinzip und klare Rollen

Bei Schriftsätzen mit hoher Tragweite prüft eine zweite Person die Fundstellen – eine Kollegin, ein Kollege oder eine geschulte Assistenzkraft, die jede Fundstelle in der Datenbank aufruft und gegen die zitierte Aussage abgleicht. Die Verantwortung bleibt bei der unterzeichnenden Person; das Vier-Augen-Prinzip ergänzt die eigene Prüfung, ersetzt sie aber nicht. Entwürfe Dritter verdienen dieselbe Sorgfalt: Im Verfahren Al-Haroun stammte die fehlerhafte Recherche vom Mandanten selbst. Und wer einen Fehler bemerkt, sollte ihn umgehend berichtigen – im Fall Mata v. Avianca hob das Gericht hervor, dass ein frühes Eingeständnis die Lage hätte verändern können.

Checkliste vor dem Versand

• Jede zitierte Entscheidung existiert: Gericht, Datum, Aktenzeichen und Fundstelle in einer Primärdatenbank geprüft.
• Die zitierte Stelle trägt die Aussage – gelesen, nicht nur gefunden.
• Wörtliche Zitate sind wortgleich mit der Quelle abgeglichen.
• Literaturangaben stimmen: Werk, Auflage, Bearbeiterin oder Bearbeiter, Randnummer.
• Normen sind in der maßgeblichen Fassung geprüft.
• Neuere Rechtsprechung und Gesetzesänderungen sind berücksichtigt.
• Daten, Beträge, Namen und Fristen sind gegen die Akte geprüft.
• Berechnungen und Fristen sind unabhängig nachgerechnet.
• Entwürfe Dritter, auch der Mandantschaft, sind wie eigene Arbeit geprüft.
• Bei Schriftsätzen ist die Vier-Augen-Prüfung dokumentiert.
• Die verantwortliche Anwältin oder der verantwortliche Anwalt hat den finalen Text vollständig gelesen.

Häufige Fragen

Dieser Beitrag dient der allgemeinen Information und ersetzt keine Rechtsberatung im Einzelfall. Die AI-Kanzlei ist keine Rechtsanwaltskanzlei. Bitte prüfen Sie die Rechtslage für Ihren konkreten Fall.