Open-Source-KI für Rechtsanwälte — Vertragsanalyse mit Self-Hosted Modellen

Die kurze Antwort lautet: Open-Source-KI ist für Kanzleien vor allem bei Vertragsanalyse, Zusammenfassungen und internem Wissenszugriff sinnvoll, wenn das Modell selbst gehostet wird und die Ausgabe immer anwaltlich geprüft wird. Für die regulatorische Einordnung helfen parallel unsere Beiträge zu Artikel 4, Anbieter vs. Betreiber und die praktische FAQ.

Letzte Aktualisierung: 23. März 2026

Mandatsgeheimnis, DSGVO und AI Act zwingen Kanzleien zu einer strengeren KI-Architektur als in Marketing oder Vertrieb. Wer Verträge, Schriftsätze oder Due-Diligence-Unterlagen mit KI verarbeitet, braucht deshalb nicht nur gute Modelle, sondern auch klare Regeln für Hosting, Lizenz, Rollen und Endkontrolle.

Legal Research = Hochrisiko in Gerichtsverfahren

Legal Research wird im Gerichtsverfahren zum Hochrisiko-Thema, sobald ein KI-System von einer Justizbehörde oder in deren Auftrag zur Auslegung von Tatsachen oder Recht im Einzelfall eingesetzt wird. Annex III Nummer 8 Buchstabe a der EU-VO 2024/1689 nennt genau diesen Bereich der Rechtspflege ausdrücklich, und Art. 113 macht die entsprechenden Pflichten ab dem 2. August 2026 voll anwendbar.

Für Kanzleien ist die Abgrenzung trotzdem wichtig, weil interne Recherche nicht dasselbe ist wie entscheidungsnahe Justiz-KI. Ein Tool für Urteilszusammenfassungen im eigenen Dezernat ist etwas anderes als ein System, das gerichtliche Bewertung, Priorisierung oder Fallprognosen im Verfahrenskontext steuert.

Die praktische Regel lautet: Je näher das System an Beweiswürdigung, Rechtsanwendung oder verfahrensrelevanter Empfehlung liegt, desto höher ist das Risiko. Genau deshalb sollten Kanzleien Legal Research von Vertragsanalyse organisatorisch trennen, statt beide Kategorien unter einem allgemeinen Label wie "Legal AI" zu bündeln.

Vor jeder Beschaffung sollten Sie mindestens diese vier Fragen schriftlich beantworten:

1. Dient das Tool nur der internen Vorbereitung oder erzeugt es faktisch entscheidungsnahe Empfehlungen?
2. Verarbeitet das Tool laufende Verfahrensakten, Beweismittel oder besondere Kategorien personenbezogener Daten?
3. Werden Ergebnisse gerankt, priorisiert oder mit Wahrscheinlichkeiten für den Verfahrensausgang versehen?
4. Könnte ein Gericht, eine Behörde oder ein Schiedsorgan das Ergebnis direkt oder mittelbar übernehmen?

Wer diese Prüfung auslässt, verwechselt Assistenz mit regulierter Entscheidungsunterstützung. Für die Rollenlogik im Unternehmen bleibt zusätzlich relevant, ob Sie nur Betreiber sind oder durch Produktisierung in eine anbieternähere Position rutschen, was unser Beitrag zu Anbieter vs. Betreiber im Detail erklärt.

Summarization und Vertragsanalyse = OK

Zusammenfassungen, Klauselvergleich und Fristenextraktion sind für Kanzleien regelmäßig zulässige Assistenzfunktionen, solange ein Mensch die juristische Endbewertung übernimmt. Weder der AI Act noch die DSGVO verbieten Vertragsanalyse durch KI pauschal.

Gerade deshalb ist Vertragsanalyse der vernünftigste Startpunkt für Open-Source-KI in der Kanzlei. Die Aufgaben sind standardisierbar, textlastig und wirtschaftlich relevant, ohne automatisch in die Hochrisiko-Logik der Rechtspflege zu fallen.

Die juristische Grenze liegt nicht bei der Nutzung der KI, sondern bei der Abgabe der Verantwortung. Ein Modell darf vorsortieren, markieren und strukturieren, aber es darf die anwaltliche Subsumtion nicht ersetzen.

Für eine interne Richtlinie reichen fünf klare Regeln:

1. KI-Ausgaben sind Entwürfe und keine Rechtsmeinungen.
2. Die Schlussprüfung erfolgt immer durch eine Berufsträgerin oder einen Berufsträger.
3. Haftung, Datenschutz, Gerichtsstand, Laufzeit und Kündigung werden immer manuell gegengeprüft.
4. Neue Prompts oder Workflows werden vor Produktivnutzung mit mindestens 20 Referenzverträgen getestet.
5. Mandanten erhalten keine ungeprüften KI-Zusammenfassungen als finale Beratung.

Die wirtschaftliche Logik ist klar: Bei 100 Vertragsprüfungen pro Monat und 20 Minuten Zeitgewinn pro Prüfung entstehen bereits rund 33 Stunden Kapazitätsgewinn. Genau dieser Hebel macht Self-Hosted-KI in Kanzleien attraktiv, wenn Qualitätssicherung und Freigabeprozess mitwachsen.

Mandantengeheimnis + DSGVO = Self-Hosting Pflicht

Für vertrauliche Mandatsdaten ist Self-Hosting in der Praxis der Pflichtstandard, weil Mandatsgeheimnis und Datenschutz maximale Kontrolle über Inhalte, Logs und Speicherorte verlangen. § 43a Absatz 2 BRAO, § 203 StGB sowie Art. 5 Absatz 1 Buchstabe c und f und Art. 32 DSGVO sprechen gemeinsam für Datenminimierung, Vertraulichkeit und technische Kontrolle.

Es gibt zwar keine einzelne Norm mit dem Wortlaut "Kanzleien müssen LLMs selbst hosten". Für Verträge, Schriftsätze, interne Ermittlungen oder M&A-Unterlagen ist ein fremdes Standard-SaaS-Backend aber regelmäßig schwerer zu rechtfertigen als ein EU-kontrollierter Eigenbetrieb.

Die sachliche Kernaussage lautet deshalb: Self-Hosting ist kein Selbstzweck, sondern die plausibelste Standardentscheidung für sensible juristische Daten. Wer vertrauliche Unterlagen an ein externes KI-Backend sendet, muss sehr genau begründen können, warum das trotz verfügbarer Alternativen erforderlich und angemessen war.

Für die Praxis genügt eine kurze Mindestliste:

1. Verarbeiten Sie nur Inhalte, die für den Prüfzweck wirklich erforderlich sind.
2. Halten Sie Inferenz, Speicher, Backups und Monitoring in einer dokumentierten EU-Umgebung.
3. Trennen Sie Testdaten, Echtdaten und hochsensible Mandate technisch voneinander.
4. Protokollieren Sie Zugriffe, aber speichern Sie keine vollständigen Prompts länger als nötig.
5. Definieren Sie Löschfristen pro Matter statt pauschaler Daueraufbewahrung.

Wenn Ihre Kanzlei erst die Grundpflichten zur KI-Kompetenz sauber organisieren will, ist Artikel 4 der richtige Einstieg. Für typische Abgrenzungsfragen zwischen Technikbetrieb, Modellwahl und Rollenverteilung lohnt danach der Beitrag zu Anbieter vs. Betreiber.

Self-Hosting mit Mistral

Mistral ist für viele Kanzleien die pragmatischste Modellfamilie, weil Leistung, Lizenzklarheit und europäische Anschlussfähigkeit besser zusammenpassen als bei vielen US-Modellen. Für Zusammenfassungen, Klausel-Extraktion und interne Wissensabfragen reichen oft schon kleinere Modelle mit überschaubarem GPU-Bedarf.

Technisch muss der Einstieg nicht groß sein. Für 7B- bis 8B-Modelle sind 16 bis 24 GB VRAM oft ausreichend, während anspruchsvollere Workflows mit längeren Dokumenten eher 24 bis 48 GB benötigen.

Ein belastbarer Pilot folgt am besten einem engen Ablauf:

1. Starten Sie mit genau einem Vertragstyp, etwa NDA, AV-Vertrag oder SaaS-Vertrag.
2. Verwenden Sie nur ein freigegebenes Modell mit dokumentierter Version und Lizenz.
3. Betreiben Sie die Inferenz ohne offene Internetfreigaben und ohne unkontrollierte Plugins.
4. Hinterlegen Sie feste Prompts für Extraktion, Zusammenfassung und Abweichungsanalyse.
5. Testen Sie vor Go-Live mindestens 50 echte oder sauber anonymisierte Verträge.

Der operative Vorteil liegt in der Begrenzung. Ein kleines Mistral-Setup lässt sich in ein bis zwei Wochen technisch aufsetzen, wenn Upload, Rollenrechte und Löschlogik einfach gehalten werden.

Llama-Lizenz-Problem für Kanzleien

Llama ist technisch stark, aber lizenzseitig für Kanzleien deutlich unklarer als Mistral oder MIT- beziehungsweise Apache-Modelle. Die Llama-3.1-Community-Lizenz ist keine klassische Open-Source-Lizenz, und Meta nennt zusätzlich eine Sonderregel ab mehr als 700 Millionen monatlich aktiven Nutzern.

Für die typische deutsche Kanzlei ist die Schwelle von 700 Millionen Monthly Active Users praktisch irrelevant. Das eigentliche Problem ist Governance: Einkauf, Datenschutz und Mandanten fragen nicht nur nach Modellqualität, sondern auch danach, ob das Kernsystem auf einer wirklich freien Lizenz oder auf einer Community-Lizenz mit Zusatzbedingungen beruht.

Für Kanzleien ergibt sich daraus eine einfache Arbeitsregel:

1. Nutzen Sie Llama nur nach aktiver Lizenzprüfung durch Rechtsabteilung oder externen Berater.
2. Vermeiden Sie den Begriff "Open Source", wenn tatsächlich nur offene Gewichte mit Zusatzbedingungen vorliegen.
3. Dokumentieren Sie im Modellregister immer Lizenz, Quelle, Version und zulässige Einsatzfälle.
4. Bevorzugen Sie für Standard-Workflows Modelle mit Apache-2.0- oder MIT-Lizenz.

Lizenzklarheit senkt Rückfragen und beschleunigt Freigaben. Genau deshalb ist Mistral für viele Kanzleien nicht nur technisch, sondern auch organisatorisch die bessere Default-Option.

Praxis-Setup für eine Kanzlei

Das beste Kanzlei-Setup ist klein, dokumentiert und auf einen einzigen Vertragstyp zugeschnitten. Wer sofort einen allgemeinen "Legal AI Copilot" baut, produziert meist Berechtigungsprobleme, Datenchaos und unklare Haftungsgrenzen.

Ein produktionsfähiger Startfall ist die Erstprüfung wiederkehrender Dokumente wie NDA, AV-Vertrag, SaaS-Vertrag oder Einkaufsbedingungen. Dort lassen sich Pflichtfelder, Eskalationsregeln und Freigabewege standardisieren, und genau das macht den Einsatz wirtschaftlich beherrschbar.

Für den Rollout sollte jede Kanzlei diese sechs Punkte abhaken:

1. Benennen Sie eine verantwortliche Partnerin oder einen verantwortlichen Partner für Freigaben.
2. Schulen Sie alle Nutzer zu Halluzinationen, Prompt-Grenzen und manueller Endkontrolle gemäß Artikel 4.
3. Definieren Sie einen Pflicht-Workflow für rote Treffer bei Haftung, Datenschutz und Gerichtsstand.
4. Messen Sie Bearbeitungszeit, Fehlerrate und Nacharbeitsquote pro Vertragstyp.
5. Prüfen Sie vierteljährlich Modellversion, Lizenzstatus und Löschkonzept.
6. Erweitern Sie erst nach stabilen Ergebnissen auf weitere Mandatsarten.

Die operative Empfehlung lautet deshalb: Erst Vertragsanalyse, dann Wissensdatenbank, zuletzt komplexere Research-Fälle. Wenn Sie die Grundfragen zu Pflichten, Rollen und Nachweisen parallel strukturieren wollen, finden Sie in unserer FAQ die schnellen Antworten und in der EU AI Act Schulung einen kompakten Einstieg mit Schulungszertifikat.

Open-Source-KI für Rechtsanwälte funktioniert damit nicht als allgemeines Versprechen, sondern als eng geführter Assistenzprozess. Wer Self-Hosting, klare Lizenzen, menschliche Endkontrolle und dokumentierte Schulung kombiniert, erhält einen belastbaren Legal-Tech-Baustein statt eines neuen Haftungsrisikos.

Quellen

• EU AI Act: Artikel 4
• EU AI Act: Artikel 113
• EU AI Act Service Desk: Annex III
• Mistral AI: Lizenzhinweise zu offenen Modellen
• Hugging Face: Meta Llama 3.1 Lizenzhinweis