Kanzleiwissen mit KI erschließen: RAG, DMS und Datenqualität

In jeder Kanzlei steckt über Jahre gewachsenes Wissen: bewährte Muster, erfolgreiche Schriftsätze, verhandelte Klauseln, Gutachten und Checklisten. Oft ist es schwer zu finden – verteilt auf Dokumentenmanagement, Netzlaufwerke, SharePoint, E-Mail-Postfächer und die Köpfe erfahrener Kolleginnen und Kollegen. KI kann dieses Wissen erschließen, aber nur so gut, wie Daten und Strukturen es zulassen. Dieser Beitrag erklärt, wie das technisch funktioniert, welche Architekturen sich eignen und wie Sie Schritt für Schritt vorgehen.

Warum Kanzleiwissen so schwer zu finden ist

Die klassische Stichwortsuche stößt in Kanzleien schnell an Grenzen. Wer nach „Haftungsbegrenzung“ sucht, findet keine Klausel, die als „Limitation of Liability“ oder „Haftungsausschluss“ formuliert ist. Wer nach „Kündigung“ sucht, erhält eine Flut von Treffern ohne sinnvolle Rangfolge. Hinzu kommen typische Ablagemuster: mehrere Fassungen desselben Dokuments, Entwürfe neben finalen Versionen, Wissen, das in einzelnen Mandatsakten steckt und beim Weggang einer Partnerin oder eines Partners faktisch verloren geht.

Generative KI verspricht einen anderen Zugang: Fragen in natürlicher Sprache – etwa „Wie haben wir in Unternehmenskäufen bisher Earn-out-Regelungen mit Garantien verknüpft?“ – und eine Antwort, die die einschlägigen Dokumente zusammenfasst und auf sie verweist. Damit das funktioniert, braucht es eine Technik namens Retrieval-Augmented Generation, kurz RAG.

Wie RAG funktioniert

Ein Sprachmodell kennt die Dokumente Ihrer Kanzlei nicht. RAG schließt diese Lücke, indem es dem Modell zu jeder Frage die passenden Passagen aus Ihrem Bestand mitgibt. Technisch läuft das in fünf Schritten ab:

1. Aufbereiten. Texte werden aus den Dokumenten extrahiert, Scans per Texterkennung (OCR) lesbar gemacht und irrelevante Bestandteile entfernt.
2. Zerlegen. Die Dokumente werden in Abschnitte geteilt (Chunking), idealerweise entlang ihrer Struktur, etwa nach Klauseln oder Gliederungspunkten.
3. Indexieren. Jeder Abschnitt wird in ein Embedding übersetzt – eine Zahlenreihe, die seine Bedeutung abbildet – und in einer Vektordatenbank gespeichert, häufig ergänzt um einen klassischen Stichwortindex.
4. Suchen. Zu einer Frage ermittelt das System die inhaltlich passendsten Abschnitte. Weil die Suche nach Bedeutung statt nach Wortgleichheit arbeitet, findet sie auch abweichende Formulierungen und Übersetzungen.
5. Antworten. Das Sprachmodell erhält die Frage zusammen mit den gefundenen Abschnitten, formuliert eine Antwort und verweist auf die verwendeten Quellen.

Der Vorteil gegenüber einem Modell, das nur aus seinem Trainingswissen schöpft: Antworten stützen sich auf Ihre Dokumente, lassen sich über Quellenverweise prüfen und bleiben aktuell, weil sich die Wissensbasis jederzeit ändern lässt. Die Datenschutzkonferenz hebt hervor, dass fehlerhafte oder veraltete Informationen in den Referenzdokumenten – anders als im Modell selbst – gelöscht oder aktualisiert werden können (DSK-Orientierungshilfe zu RAG).

Die Grenzen sind ebenso klar. Gefunden wird, was der Frage inhaltlich ähnelt. Zusammenhänge, die sich erst aus mehreren, sprachlich unterschiedlichen Passagen ergeben, kann das System übersehen. Fehlt der relevante Abschnitt im Suchergebnis, bleibt die Antwort unvollständig – oft, ohne dass dies erkennbar ist. Neuere Systeme begegnen dem, indem sie mehrere Suchläufe nacheinander ausführen und Zwischenergebnisse prüfen.

Anbindung von DMS und SharePoint

Das Wissen einer Kanzlei liegt selten an einem Ort. Typische Quellen sind das Dokumentenmanagementsystem (DMS) oder die Aktenverwaltung der Kanzleisoftware, SharePoint und Teams, Netzlaufwerke, E-Mail-Archive, interne Wikis und lizenzierte Fachdatenbanken. Für die Anbindung gibt es im Wesentlichen drei Wege:

Indexkopie über Konnektoren

Ein Konnektor liest Inhalte aus der Quelle und legt sie in einem eigenen Suchindex ab. Das ermöglicht eine schnelle, systemübergreifende Suche. Zu klären ist, wie zeitnah Änderungen, Löschungen und Berechtigungen aus der Quelle übernommen werden.

Live-Abfrage über Schnittstellen

Die KI fragt die Quelle im Moment der Anfrage über deren Schnittstelle ab. Inhalte und Berechtigungen sind stets aktuell, die Antwortqualität hängt aber von der Suchfunktion der Quelle ab. Offene Standards wie das Model Context Protocol vereinfachen solche Anbindungen.

KI im bestehenden System

Viele DMS-Anbieter und Office-Plattformen integrieren KI-Funktionen direkt. Die Daten bleiben im gewohnten System, der Funktionsumfang richtet sich nach dem jeweiligen Anbieter.

Unabhängig vom Weg sollten Sie vor der Entscheidung folgende Fragen beantworten können:

• Welche Ablagen werden einbezogen, welche ausdrücklich ausgeschlossen, etwa Personalakten oder persönliche Ordner?
• Wo liegt der Index, wer betreibt ihn, und welche Verträge gelten – Auftragsverarbeitung und Verschwiegenheitsverpflichtung nach § 43e BRAO?
• Wie werden Berechtigungen übernommen, und wie schnell wirkt ein entzogenes Recht?
• Werden Löschungen in der Quelle auch im Index umgesetzt?
• Welche Anfragen und Zugriffe werden protokolliert, und wer kann die Protokolle einsehen?
• Werden Inhalte für das Training von Modellen verwendet?

Ein Sonderfall sind lizenzierte Fachdatenbanken. Deren Inhalte dürfen Sie in der Regel nicht ohne Weiteres in einen eigenen Index übernehmen; maßgeblich sind die Lizenzbedingungen. Viele Fachverlage bieten eigene KI-Funktionen oder Schnittstellen an, die sich mit dem Kanzleiwissen kombinieren lassen.

Muster und Vorlagen: kuratiertes Wissen zuerst

Für die Wissenserschließung lohnt es sich, drei Bestände zu unterscheiden:

Der kuratierte Bestand ist der natürliche Ausgangspunkt. Er ist kleiner, sauberer und weniger heikel, und die Antworten gewinnen schneller das Vertrauen der Nutzerinnen und Nutzer. In größeren Kanzleien betreuen Knowledge-Management-Teams oder Professional Support Lawyers solche Bestände. In mittelständischen Kanzleien bietet es sich an, die Verantwortung je Rechtsgebiet einer Anwältin oder einem Anwalt gemeinsam mit dem Sekretariat zu übertragen.

KI hilft auch bei der Pflege: Sie kann Dubletten und Varianten einer Klausel aufspüren, Abweichungen vom Kanzleistandard markieren, Metadaten vorschlagen und Kurzbeschreibungen für Muster erstellen. Mit einem Playbook, das Standard- und Rückfallpositionen festhält, wird die Musterbibliothek zudem zur Grundlage für eine KI-gestützte Vertragsprüfung.

Datenqualität: Garbage in, garbage out

Der Grundsatz „Garbage in, garbage out“ gilt für KI-gestütztes Wissensmanagement in besonderem Maße. Typische Probleme in Kanzleiablagen sind:

• mehrere Fassungen desselben Dokuments ohne Kennzeichnung der maßgeblichen Version,
• veraltete Muster, die eine überholte Rechtslage abbilden,
• Scans ohne Texterkennung, die für die Suche unsichtbar bleiben,
• fehlende Metadaten zu Rechtsgebiet, Dokumenttyp, Status und Datum,
• mandatsspezifische Details in Dokumenten, die als allgemeine Muster abgelegt sind.

Die Folge ist tückisch: Die KI findet die veraltete Vorlage und präsentiert sie sprachlich einwandfrei. Ein KI-Assistent, der eine überholte Vorlage überzeugend präsentiert, ist gefährlicher als eine Suche ohne Treffer. Wirksame Gegenmaßnahmen sind meist organisatorischer Natur:

• Statuskennzeichnung für Muster: Entwurf, freigegeben, veraltet.
• Ein Prüfdatum und eine verantwortliche Person für jedes Muster.
• Dubletten bereinigen und die maßgebliche Fassung eindeutig benennen.
• Texterkennung für gescannte Bestände nachholen.
• Veraltete Inhalte archivieren oder ausdrücklich vom Index ausschließen, statt sie nur zu verschieben.
• Aufbewahrungs- und Löschfristen – etwa die sechsjährige Aufbewahrungsfrist für Handakten nach § 50 BRAO – auch für Kopien im Suchindex umsetzen.

Berechtigungen, Vertraulichkeit und Informationsbarrieren

Der wichtigste Grundsatz lautet: Die KI darf niemandem mehr zeigen, als die jeweilige Person ohnehin sehen dürfte. Gute Systeme prüfen deshalb bei jedem Treffer, ob die anfragende Person Zugriff auf das zugrunde liegende Dokument hat. Die Datenschutzkonferenz betont, dass sich ein Rechte- und Rollenkonzept auf der Ebene der Wissensbasis umsetzen lässt – im Sprachmodell selbst dagegen nicht.

In der Praxis tritt dabei ein verbreitetes Problem zutage: Überberechtigungen. Dokumente, die versehentlich für die gesamte Organisation freigegeben sind, fielen bisher kaum auf, weil niemand sie fand. Eine KI-gestützte Suche macht sie plötzlich auffindbar. Microsoft beschreibt etwa für seinen Copilot, dass dieser mit Daten arbeitet, auf die die jeweilige Person bereits Zugriff hat, und empfiehlt, überteilte Inhalte gezielt zu identifizieren und zu bereinigen (Microsoft Learn). Eine Berechtigungsprüfung gehört daher vor jeden Start.

Für Kanzleien kommen besondere Anforderungen hinzu:

• Informationsbarrieren: Ist ein Tätigkeitsverbot nach § 43a Abs. 4 BRAO für die Kanzlei nur deshalb ausgeschlossen, weil die Mandantschaft zugestimmt hat und geeignete Vorkehrungen die Verschwiegenheit sichern, müssen diese Barrieren – häufig Ethical Walls genannt – auch im KI-System wirksam sein. Testen Sie das ausdrücklich.
• Mandantenvorgaben: Mandatsbedingungen und Outside Counsel Guidelines können den Einsatz von KI oder die Nutzung von Arbeitsergebnissen für andere Mandate einschränken.
• Protokollierung: Nachvollziehbarkeit ist wichtig, Protokolle über Suchanfragen sind aber selbst personenbezogene Daten. Sind sie geeignet, Verhalten oder Leistung von Beschäftigten zu überwachen, hat ein bestehender Betriebsrat mitzubestimmen (§ 87 Abs. 1 Nr. 6 BetrVG).

Typische Architekturen im Überblick

Welche Lösung passt, hängt von vorhandenen Systemen, Kanzleigröße und Vertraulichkeitsanforderungen ab. In der Praxis begegnen vor allem fünf Architekturen, die sich auch kombinieren lassen:

Herstellerunabhängig betrachtet gibt es keine Architektur, die für jede Kanzlei die richtige ist. Ein pragmatischer Weg ist, mit KI-Funktionen in vorhandenen Systemen zu beginnen und gezielt dort zu ergänzen, wo Bedarf entsteht. Kriterien für die Auswahl beschreibt der Beitrag zur Tool-Auswahl.

Vorgehen in sieben Schritten

1. Fragen und Nutzen definieren. Welche Fragen soll das System beantworten, für wen und wie oft? Sammeln Sie echte Fragen aus dem Alltag, etwa „Welches Muster gilt für …?“ oder „Wie haben wir … bisher gelöst?“.
2. Wissensquellen erfassen. Wo liegt welches Wissen, in welcher Qualität und mit welchen Berechtigungen – und wer ist dafür verantwortlich?
3. Pilotbestand kuratieren. Beginnen Sie mit dem kuratierten Wissen einer Praxisgruppe: bereinigen, verschlagworten, Status kennzeichnen.
4. Rahmen klären. Datenschutz mit Auftragsverarbeitung und gegebenenfalls Datenschutz-Folgenabschätzung, Berufsrecht nach § 43e BRAO, Mandantenvorgaben, Betriebsrat und KI-Richtlinie.
5. Architektur und Anbieter wählen. Testen Sie Lösungen mit eigenen Dokumenten und Fragen, nicht mit Demodaten.
6. Qualität messen. Prüfen Sie anhand eines Testkatalogs: Stimmt die Antwort, ist die Quelle die maßgebliche Fassung, fehlt etwas? Testen Sie auch die Berechtigungen, etwa mit einem Testkonto ohne Zugriff auf ein abgeschottetes Mandat.
7. Einführen und pflegen. Schulen Sie die Nutzerinnen und Nutzer, richten Sie einen Rückmeldekanal ein, benennen Sie Verantwortliche für Inhalte und erweitern Sie den Bestand schrittweise.

Wer was beiträgt

Kanzleileitung

setzt Prioritäten, stellt Budget und Zeit bereit und entscheidet über den Rahmen.

Anwältinnen und Anwälte

bestimmen, welches Wissen relevant ist, und verantworten die fachliche Qualität der Muster.

Knowledge Management

kuratiert Bestände, pflegt Metadaten und bündelt Rückmeldungen.

Sekretariat und Assistenz

kennen Ablagestrukturen und Dokumentenflüsse oft am besten und sorgen für eine saubere Ablage.

IT und Datenschutz

verantworten Anbindung, Berechtigungen, Protokollierung und vertragliche Absicherung.

Häufige Fragen