Generative KI verstehen: Grundlagen für Juristinnen und Juristen

Generative KI ist in vielen Kanzleien angekommen – im Browser, in Office-Programmen und zunehmend in juristischen Fachanwendungen. Um sie verantwortungsvoll einzusetzen, müssen Sie nicht programmieren können. Hilfreich ist aber ein solides Grundverständnis: Woher kommen die Antworten, warum sind sie mal präzise und mal schlicht falsch, und was unterscheidet einen Chat-Assistenten von einem Agenten? Dieser Beitrag erklärt die wichtigsten Konzepte ohne Fachjargon und zeigt, was daraus für die Arbeit in der Kanzlei folgt.

Was generative KI von klassischer Software unterscheidet

Klassische Kanzleisoftware arbeitet nach festen Regeln. Ein Gebührenrechner ermittelt aus Gegenstandswert und Gebührentatbestand stets dasselbe Ergebnis, eine Fristenberechnung folgt hinterlegten Vorschriften. Das Verhalten ist vorhersehbar und überprüfbar.

Generative KI funktioniert grundlegend anders. Sie wurde nicht mit Regeln programmiert, sondern hat aus riesigen Textmengen Muster gelernt: wie Sätze gebaut sind, wie ein Mahnschreiben klingt, wie eine Klageerwiderung typischerweise gegliedert ist. Auf dieser Grundlage erzeugt sie neue Inhalte – Texte, Zusammenfassungen, Tabellen, zunehmend auch Bilder und Audio. Zwei Eigenschaften sind für die Praxis zentral:

• Sie arbeitet mit Wahrscheinlichkeiten. Dieselbe Anfrage kann zu unterschiedlichen Antworten führen. Beim Formulieren ist das ein Vorteil, beim Rechnen oder Zitieren ein Risiko.
• Sie ist ein Sprachwerkzeug, kein Nachschlagewerk. Das Modell erzeugt plausible Sprache. Ob eine Aussage stimmt, prüft es nicht von sich aus.

Generative KI ist ein Formulierungswerkzeug, kein Wahrheitsprüfer – daraus folgt fast alles, was für ihren sicheren Einsatz wichtig ist.

Sprachmodelle: Wie aus Wahrscheinlichkeiten Text entsteht

Das Herzstück generativer KI für Text sind große Sprachmodelle, im Fachjargon Large Language Models (LLMs). Technisch handelt es sich um neuronale Netze mit Milliarden von Parametern – einstellbaren Zahlenwerten, in denen das im Training Gelernte gespeichert ist.

Die Grundaufgabe eines Sprachmodells klingt bescheiden: Es sagt vorher, welches Textstück als Nächstes am wahrscheinlichsten folgt. Dieses Stück hängt es an und wiederholt den Vorgang, bis eine vollständige Antwort entstanden ist. Der Vergleich mit der Autovervollständigung im Smartphone greift zu kurz, trifft aber den Kern. Weil die Modelle mit enormen Textmengen trainiert wurden, haben sie dabei weit mehr gelernt als Grammatik: Fachsprache, Argumentationsmuster, Wissen über Gesetze und Begriffe, Stilebenen von der Mandantenmail bis zum Schriftsatz.

Wichtig für das Verständnis: Ein Sprachmodell speichert Texte nicht wie eine Datenbank. Es kann daher nicht zuverlässig sagen, aus welcher Quelle eine Information stammt. Sein Wissen steckt verteilt in den Parametern – ähnlich wie Sie ein Rechtsgebiet beherrschen, ohne für jede Aussage die Fundstelle im Kopf zu haben. Anders als Sie kann das Modell aber nicht unterscheiden, ob es sich gerade erinnert oder etwas Plausibles ergänzt.

Tokens: die Recheneinheit der KI

Sprachmodelle verarbeiten keine Wörter, sondern Tokens. Ein Token ist meist ein Wortteil, manchmal ein ganzes kurzes Wort oder ein Satzzeichen. Ein Begriff wie „Zwangsvollstreckungsverfahren“ wird in mehrere Tokens zerlegt. Deutsche Texte mit ihren langen Komposita benötigen tendenziell mehr Tokens pro Wort als englische.

Für die Praxis ist das aus drei Gründen relevant:

• Kapazität: Wie viel Text ein Modell auf einmal verarbeiten kann, wird in Tokens gemessen.
• Kosten: Bei Nutzung über Programmierschnittstellen (APIs) wird in der Regel nach verarbeiteten Tokens abgerechnet.
• Eigenheiten: Weil das Modell in Tokens statt in Buchstaben arbeitet, sind exakte Zeichenzählungen oder Vorgaben wie „genau 500 Zeichen“ unzuverlässig. Für solche Aufgaben sind klassische Werkzeuge besser geeignet.

Kontextfenster: das Arbeitsgedächtnis

Das Kontextfenster umfasst alles, was ein Modell bei einer Antwort gleichzeitig berücksichtigen kann: die Grundanweisungen der Anwendung, Ihren bisherigen Gesprächsverlauf, hochgeladene Dokumente und die eigene Antwort. Es wird in Tokens gemessen und ist in den vergangenen Jahren stark gewachsen. Leistungsfähige Modelle fassen je nach Produkt Hunderttausende Tokens, einige mehr als eine Million – das entspricht mehreren Hundert Seiten Text und mehr. Die tatsächlich nutzbare Menge kann in der jeweiligen Anwendung allerdings geringer sein als das technische Maximum.

Ein großes Kontextfenster bedeutet nicht, dass alle Inhalte gleich gut berücksichtigt werden. Untersuchungen zeigen, dass Modelle Informationen aus der Mitte langer Texte weniger zuverlässig nutzen als solche am Anfang oder Ende (Liu et al., „Lost in the Middle“). Daraus folgen einige Faustregeln:

• Stellen Sie bei umfangreichen Akten gezielte Fragen statt „Fasse alles zusammen“, und lassen Sie sich die Fundstelle im Dokument nennen.
• Prüfen Sie bei Zusammenfassungen langer Dokumente stichprobenartig, ob wesentliche Punkte fehlen.
• Beginnen Sie für eine neue Aufgabe einen neuen Chat. Lange Verläufe mit wechselnden Themen verschlechtern die Ergebnisse; wird das Fenster überschritten, fallen frühere Inhalte heraus oder werden verkürzt.

Vom Kontextfenster zu unterscheiden sind Erinnerungsfunktionen, die manche Assistenten anbieten: Sie speichern Informationen über einzelne Chats hinaus. In der Kanzlei sollten solche Funktionen bewusst konfiguriert werden, damit Mandatsinformationen nicht unbemerkt in andere Zusammenhänge gelangen.

Training und Nutzung: zwei getrennte Phasen

Bei Sprachmodellen sind zwei Phasen strikt zu unterscheiden. Hinzu kommt ein Begriff, der sich unmittelbar daraus ergibt:

Training

Der Anbieter trainiert das Modell mit großen Textmengen und richtet es anschließend mit ausgewählten Beispielen und menschlichen Bewertungen darauf aus, Anweisungen zu befolgen und hilfreich zu antworten. Das ist aufwendig und geschieht, bevor ein Modell veröffentlicht wird.

Nutzung (Inferenz)

Wenn Sie eine Frage stellen, wendet das fertige Modell sein Gelerntes an. Es lernt dabei nicht dazu; Ihre Eingabe verändert das Modell nicht.

Wissensstichtag

Das Trainingswissen endet zu einem bestimmten Zeitpunkt. Spätere Gesetzesänderungen oder neue Rechtsprechung kennt das Modell nur, wenn es an aktuelle Quellen angebunden ist, etwa an eine Websuche oder eine Fachdatenbank.

Ob Ihre Eingaben später für das Training künftiger Modelle verwendet werden, ist keine technische Frage, sondern eine des Vertrags und der Einstellungen. Hier unterscheiden sich Verbraucherangebote und Unternehmenslösungen häufig erheblich. Für Kanzleien gehört diese Frage deshalb an den Anfang jeder Tool-Prüfung – mehr dazu im Beitrag zu Datenschutz und Berufsrecht.

Modelle lassen sich zwar nachtrainieren (Fine-Tuning). Für Faktenwissen ist das aber selten der richtige Weg – es wird zuverlässiger und aktueller über angebundene Quellen bereitgestellt.

Warum KI halluziniert

Von Halluzinationen spricht man, wenn ein Modell Inhalte erzeugt, die plausibel klingen, aber falsch oder frei erfunden sind – im juristischen Kontext etwa Aktenzeichen, Fundstellen oder Zitate aus Urteilen, die es nicht gibt. Die Ursache liegt im Funktionsprinzip: Das Modell ist darauf trainiert, eine flüssige, wahrscheinliche Fortsetzung zu liefern. Fehlt ihm das nötige Wissen, entsteht trotzdem eine Antwort, die überzeugend klingt.

Eine Forschungsarbeit von OpenAI argumentiert zudem, dass gängige Trainings- und Bewertungsverfahren das Raten belohnen statt das Eingeständnis von Unsicherheit (Kalai et al., „Why Language Models Hallucinate“). Quellenanbindung und Reasoning senken die Fehlerquote, beseitigen das Problem aber nicht.

RAG: Antworten auf Basis geprüfter Quellen

Retrieval-Augmented Generation, kurz RAG, ist die wichtigste Technik, um KI-Antworten an verlässliche Quellen zu binden. Vereinfacht gesagt schreibt das Modell dann keine Klausur aus dem Gedächtnis, sondern eine mit aufgeschlagenem Kommentar:

1. Suchen. Zu Ihrer Frage durchsucht das System eine festgelegte Quelle – etwa eine juristische Datenbank, das Dokumentenmanagement der Kanzlei oder die hochgeladene Akte.
2. Anreichern. Die relevantesten Textpassagen werden zusammen mit Ihrer Frage an das Modell übergeben.
3. Antworten. Das Modell formuliert die Antwort auf Grundlage dieser Passagen und verweist im Idealfall auf die genutzten Stellen.

Der Gewinn: aktuelle und kanzleispezifische Inhalte, nachprüfbare Quellenangaben und die Möglichkeit, fehlerhafte oder veraltete Dokumente in der Wissensbasis zu korrigieren oder zu löschen. Die Datenschutzkonferenz weist aber auch auf Grenzen hin: Das System findet vor allem inhaltlich ähnliche Passagen; logisch zusammengehörende Informationen, die sprachlich weit auseinanderliegen, können übersehen werden. Und auch mit den richtigen Passagen kann das Modell eine Quelle falsch wiedergeben. Wie Kanzleien RAG für ihr eigenes Wissen nutzen, beschreibt der Beitrag Kanzleiwissen mit KI erschließen.

Reasoning-Modelle: erst nachdenken, dann antworten

Reasoning-Modelle erarbeiten eine Antwort in Zwischenschritten, bevor sie sie ausgeben. Sie zerlegen ein Problem, prüfen Lösungswege und verwerfen Irrwege. Dafür wenden sie bei der Beantwortung deutlich mehr Rechenzeit auf.

Das zahlt sich vor allem bei mehrstufigen Aufgaben aus: komplexe Sachverhalte strukturieren, mehrere Dokumente miteinander abgleichen, Anspruchsgrundlagen systematisch durchgehen oder Widersprüche in einem Vertragswerk aufspüren. Für einfache Formulierungsaufgaben ist der Mehraufwand meist unnötig; die Antwort dauert länger und kostet mehr. Viele Anwendungen lassen Sie zwischen schnellen und gründlichen Modi wählen oder entscheiden das automatisch.

Zwei Einschränkungen sollten Sie kennen: Auch Reasoning-Modelle halluzinieren. Und der angezeigte Gedankengang ist nicht zwingend ein getreues Protokoll dessen, wie die Antwort tatsächlich zustande kam – darauf deuten Untersuchungen des Anbieters Anthropic hin („Reasoning models don’t always say what they think“). Er ist eine Orientierungshilfe, kein Nachweis.

Agenten: von der Antwort zur Handlung

Ein Chat-Assistent beantwortet Fragen. Ein KI-Agent erledigt Aufgaben: Er erhält ein Ziel, plant die nötigen Schritte, nutzt dafür Werkzeuge – etwa Suche, Dokumentenablage, E-Mail, Kalender oder Kanzleisoftware –, bewertet Zwischenergebnisse und arbeitet weiter, bis das Ziel erreicht ist oder eine Rückfrage nötig wird. Ein verbreitetes Beispiel sind Recherchefunktionen, die selbstständig zahlreiche Quellen auswerten und daraus einen Bericht erstellen.

Damit Agenten mit anderen Systemen arbeiten können, braucht es Schnittstellen. Als offener Standard hat sich hier das Model Context Protocol (MCP) etabliert: Es verbindet KI-Anwendungen mit Datenquellen und Werkzeugen; die Projektseite vergleicht es mit einem USB-C-Anschluss für KI-Anwendungen. Ursprünglich von Anthropic entwickelt, wird MCP inzwischen unter dem Dach der Linux Foundation weiterentwickelt und von zahlreichen Anbietern unterstützt. Für Kanzleien bedeutet das: Anbindungen an Dokumentenmanagement, Postfach oder Kalender werden einfacher. Jede Anbindung ist aber auch ein Zugriffsrecht, das bewusst vergeben werden muss.

Mit der Selbstständigkeit wachsen die Risiken. Ein Agent kann Fehler über mehrere Schritte weitertragen, und er kann durch versteckte Anweisungen in Dokumenten oder E-Mails manipuliert werden (Prompt Injection). Agenten brauchen deshalb eng begrenzte Rechte und menschliche Freigaben an den entscheidenden Stellen. Wie das in der Praxis aussieht, zeigt der Beitrag KI-Agenten und Workflow-Automatisierung.

Multimodalität: Text, Bild, Audio und Dokumente

Aktuelle Modelle verarbeiten nicht nur Text. Sie lesen gescannte Schreiben, erfassen Tabellen, beschreiben Fotos, transkribieren Sprache und können selbst Bilder oder gesprochene Antworten erzeugen. Für Kanzleien eröffnet das unter anderem:

• die Auswertung gescannter Bescheide, Rechnungen oder Verträge ohne vorherige Abschrift,
• Diktate, die direkt in strukturierte Texte überführt werden,
• die Transkription und Zusammenfassung von Besprechungen,
• die Auswertung von Fotos, etwa bei Bau- oder Schadensfällen.

Die Grenzen liegen in der Erkennungsqualität: Handschrift, schlechte Scans und komplexe Tabellen führen zu Lesefehlern, die sich bei Zahlen und Daten besonders auswirken. Bei Gesprächsaufzeichnungen kommt eine rechtliche Dimension hinzu: Das nichtöffentlich gesprochene Wort ist strafrechtlich geschützt (§ 201 StGB). Holen Sie vor Aufzeichnung oder Transkription die Zustimmung aller Beteiligten ein und klären Sie die datenschutzrechtlichen Anforderungen.

Was KI in der Kanzlei kann – und was nicht

Aus den technischen Eigenschaften ergibt sich ein recht klares Bild, wo KI ihre Stärken ausspielt und wo Vorsicht geboten ist:

Die Konsequenz für den Arbeitsalltag: KI verlagert juristische Arbeit vom Formulieren zum Prüfen. Der Zeitgewinn entsteht, wenn der Entwurf schneller vorliegt – er geht verloren, wenn die Prüfung entfällt und Fehler erst später auffallen.

Was daraus für den Kanzleialltag folgt

• Freigegebene Tools nutzen: Mandatsbezogene Informationen gehören nur in Anwendungen, die die Kanzlei vertraglich und technisch geprüft hat. Den Rahmen dafür setzt eine KI-Richtlinie.
• Das passende Werkzeug wählen: für Recherche Anwendungen mit Quellenanbindung, für komplexe Analysen Reasoning-Modi, für Routinetexte schnelle Modelle.
• Aufgaben präzise stellen: Kontext, Ziel und gewünschtes Format verbessern die Ergebnisse spürbar – Anleitung und Vorlagen bietet der Beitrag zum Prompting.
• Ergebnisse prüfen: Fakten, Fundstellen, Zahlen und Daten werden am Original verifiziert, bevor sie die Kanzlei verlassen.
• Kompetenz aufbauen: Wer die Funktionsweise versteht, erkennt Fehler schneller und nutzt die Stärken gezielter.

Häufige Fragen