Die kurze Antwort lautet: Für die meisten Unternehmen ist RAG der bessere Start, weil Sie Fachwissen schnell anbinden, Kosten niedrig halten und rechtlich meist Deployer bleiben. Fine-Tuning lohnt sich erst, wenn Ihr Ziel nicht aktuelles Wissen, sondern ein dauerhaft verändertes Modellverhalten ist.
Letzte Aktualisierung: 23. März 2026
Für die Einordnung sollten Sie drei Fragen trennen: Was verbessert die Antwortqualität, was ist wirtschaftlich vertretbar und was ändert Ihre Rolle im AI Act. Wenn Sie die Rollenlogik zuerst klären wollen, lesen Sie parallel Anbieter vs. Betreiber im AI Act, unser Glossar zu RAG und das Glossar zu Fine-Tuning.
Was ist RAG (Retrieval Augmented Generation)?
RAG ergänzt ein bestehendes Modell um externe Wissensquellen, ohne die Modellgewichte zu verändern. Das Verfahren sucht vor jeder Antwort passende Dokumente, übergibt diese als Kontext an das Modell und reduziert so veraltete oder frei erfundene Aussagen.
Für Unternehmen ist das der schnellste Weg zu domänenspezifischen Antworten. Produktdatenblätter, Richtlinien, Verträge oder Handbücher bleiben in Ihrer Wissensbasis, während das Basismodell nur die Sprachverarbeitung übernimmt.
| Element | Funktion | Typischer Unternehmensnutzen |
|---|---|---|
| Retrieval | Sucht relevante Textstellen in einer Vektor- oder Hybridsuche | Verknüpft Antworten mit Ihren aktuellen Dokumenten |
| Augmentation | Übergibt die Fundstellen als Kontext in den Prompt | Erhöht Faktentreue und Nachvollziehbarkeit |
| Generation | Formuliert die Antwort auf Basis des Kontexts | Liefert natürlich lesbare Ergebnisse |
RAG ist deshalb besonders stark, wenn Wissen häufig wechselt. Preislisten, interne Richtlinien und AI-Act-Prozesse ändern sich monatlich oder quartalsweise, während ein Fine-Tuning für jede relevante Wissensänderung erneut vorbereitet, trainiert und getestet werden müsste.
Die Grenzen von RAG liegen an anderer Stelle. Wenn Ihr Modell einen bestimmten Schreibstil, feste Antwortstrukturen oder spezielle Entscheidungslogik verlässlich lernen soll, reicht Wissensanbindung allein oft nicht aus.
- RAG ist ideal für aktuelles, dokumentiertes und referenzierbares Wissen.
- RAG ist schwächer, wenn Verhalten statt Wissen verändert werden soll.
- RAG braucht gute Dokumentenqualität, saubere Chunking-Regeln und Zugriffskontrollen.
Was ist Fine-Tuning?
Fine-Tuning verändert das Verhalten eines vorhandenen Modells durch zusätzliches Training auf spezifischen Daten. Das Ziel ist nicht primär mehr aktuelles Wissen, sondern ein anderes Antwortmuster, eine bessere Aufgabenanpassung oder höhere Genauigkeit in klar definierten Use Cases.
Für Unternehmen ist Fine-Tuning vor allem dann sinnvoll, wenn das Basismodell systematisch falsch priorisiert. Das ist zum Beispiel bei stark standardisierten Extraktionsaufgaben, domänenspezifischer Klassifikation oder festem Antwortstil relevant.
Die operative Hürde ist höher als bei RAG. Sie brauchen Trainingsdaten, Evaluationsdaten, Fehleranalysen, Trainingsinfrastruktur und einen Freigabeprozess für Regressionen.
| Fine-Tuning-Typ | Typischer Zweck | Aufwand |
|---|---|---|
| Prompt-optimiertes SFT | Besserer Stil, konsistentere Formate | Niedrig bis mittel |
| LoRA oder Adapter-Tuning | Geringere Trainingskosten bei gezielter Anpassung | Mittel |
| Vollständiges Fine-Tuning | Tiefere Verhaltensänderung des Modells | Hoch |
Fine-Tuning ist wirtschaftlich nur tragfähig, wenn der Use Case stabil ist. Wenn sich Inhalte, Rechtslage oder Produktkataloge laufend ändern, müssen Sie den Nutzen der Modellanpassung gegen wiederkehrende Trainings- und Prüfkosten rechnen.
- Fine-Tuning lohnt sich bei stabilem Anwendungsfall und hohem Antwortvolumen.
- Fine-Tuning lohnt sich nicht, wenn nur aktuelles Wissen fehlt.
- Fine-Tuning erhöht den Testaufwand, weil sich das Modellverhalten selbst ändert.
Vergleichstabelle: Kosten, Aufwand, Qualität
Die Kernentscheidung lautet: RAG ist meist günstiger und schneller, Fine-Tuning kann bei engen Aufgabenfeldern die höhere Präzision liefern. Für Mittelstandsteams mit begrenztem Budget gewinnt deshalb häufig RAG in der ersten Ausbaustufe.
Die folgenden Werte sind Praxisrichtwerte für ein erstes Unternehmensprojekt mit vorhandenem Basismodell. Sie sind eine belastbare Inferenz aus typischen Implementierungsumfängen, aber keine gesetzliche oder herstellerseitige Preisvorgabe.
| Kriterium | RAG | Fine-Tuning |
|---|---|---|
| Projektstart | oft 2 bis 6 Wochen | oft 6 bis 16 Wochen |
| Initialkosten | häufig 5.000 bis 30.000 EUR | häufig 20.000 bis 120.000 EUR |
| Laufende Kosten | Suche, Hosting, Embeddings, Pflege der Wissensbasis | Hosting, Retraining, Evaluation, MLOps |
| Qualität bei aktuellem Wissen | hoch | nur hoch, wenn neu trainiert wird |
| Qualität bei festem Stil oder Format | mittel | hoch |
| Nachvollziehbarkeit | hoch bei Quellenanzeige | mittel, weil Verhalten aus Trainingsdaten entsteht |
| Pflege bei Wissensänderungen | Dokumente aktualisieren | Datenpipeline prüfen und oft neu trainieren |
Die Kostendifferenz erklärt sich nicht nur aus dem Training. Fine-Tuning erzeugt Folgekosten für Datenselektion, Label-Qualität, Benchmarking und Sicherheitsprüfungen, während RAG stärker von Informationsarchitektur und Suchqualität abhängt.
Auch qualitativ gibt es keinen pauschalen Sieger. RAG ist besser für aktuelle Wissensarbeit, Fine-Tuning ist besser für wiederkehrende Musteraufgaben mit enger Zieldefinition.
- Wählen Sie RAG, wenn Wissen schneller altert als Ihr Modellprojekt.
- Wählen Sie Fine-Tuning, wenn Antwortstil, Format oder Klassifikation dauerhaft standardisiert werden müssen.
- Kombinieren Sie beides nur, wenn der geschäftliche Nutzen den doppelten Betriebsaufwand rechtfertigt.
AI Act: RAG = Deployer, Fine-Tuning = evtl. Provider
Rechtlich ist RAG für Unternehmen meist die sicherere Standardoption, weil Sie dadurch typischerweise Deployer bleiben. Nach Art. 3 Nr. 4 der EU-VO 2024/1689 ist Deployer, wer ein KI-System unter eigener Verantwortung beruflich nutzt.
Die Provider-Rolle entsteht nicht schon durch jede Anpassung. Nach Art. 3 Nr. 3 ist Provider, wer ein KI-System oder GPAI-Modell entwickelt oder unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt, und Art. 25 verschiebt die Verantwortung bei bestimmten Änderungen oder Rebrandings.
RAG verändert typischerweise nicht das Modell selbst, sondern nur den Kontext. Genau deshalb bleibt ein Unternehmen bei RAG im Regelfall auf der Betreiber- oder Deployer-Seite, solange kein neues eigenes KI-Produkt unter eigener Marke in Verkehr gebracht wird. Diese Einordnung entspricht auch der Logik unseres Beitrags Anbieter vs. Betreiber im AI Act.
Bei Fine-Tuning ist die Lage sensibler. Wenn Sie ein Modell so tief anpassen, dass ein eigenständiges Produkt, eine wesentliche Veränderung oder eine neue Anbieterrolle entsteht, kann die Provider-Einordnung relevant werden.
Für GPAI-Modelle ist zusätzlich Art. 53 wichtig. Die Pflichten für Provider von General-Purpose-AI-Modellen gelten seit dem 2. August 2025, und die Open-Source-Erleichterung nach Art. 53 Abs. 2 befreit nicht pauschal von allen Pflichten, sondern nur von Teilen der Dokumentations- und Downstream-Informationspflichten.
Die EU-Kommission stellt in den AI Literacy Questions & Answers zudem klar, dass Art. 4 für Provider und Deployers gilt. Seit dem 2. Februar 2025 müssen beide Gruppen ein ausreichendes Maß an KI-Kompetenz sicherstellen.
| Szenario | Typische AI-Act-Rolle | Warum |
|---|---|---|
| Chatbot mit RAG auf internen Dokumenten | Deployer | Nutzung eines bestehenden Modells mit externer Wissensanbindung |
| LoRA-Tuning für konsistenteren Antwortstil | meist weiter Deployer, Grenzfall prüfen | Verhaltensanpassung ohne zwingend neue Marktrolle |
| Tiefes Fine-Tuning und Vertrieb unter eigener Marke | mögliches Provider-Szenario | Eigenständige Produktverantwortung oder wesentliche Änderung |
| Umwidmung in Hochrisiko-Zweck | erhöhtes Provider-Risiko | Art. 25 und Hochrisiko-Logik können eingreifen |
- RAG löst keine automatische Provider-Rolle aus.
- Fine-Tuning ist kein Rechtsverstoß, aber eine Rollenfrage mit Dokumentationspflicht.
- Art. 4 zur KI-Kompetenz gilt unabhängig davon, ob Sie RAG oder Fine-Tuning einsetzen.
Entscheidungsmatrix: Wann was nutzen?
Die beste Wahl hängt an Ihrem Zielbild und nicht an technischer Mode. Wenn Ihr Kernproblem fehlendes aktuelles Wissen ist, sollten Sie mit RAG starten. Wenn Ihr Kernproblem ein falsches Antwortverhalten trotz korrektem Wissen ist, sollten Sie Fine-Tuning prüfen.
Die folgende Matrix reduziert die Entscheidung auf operative Kriterien. Sie ersetzt keine Einzelfallprüfung, schafft aber eine belastbare Erstklassifizierung für Geschäftsführung, IT und Compliance.
| Frage | Wenn Ja | Empfehlung |
|---|---|---|
| Ändern sich Inhalte mindestens monatlich? | Wissen ist dynamisch | RAG |
| Müssen Antworten Quellen aus internen Dokumenten zeigen? | Nachweisbarkeit ist wichtig | RAG |
| Brauchen Sie feste Ausgabestrukturen mit sehr hoher Konsistenz? | Verhalten ist wichtiger als Wissensabruf | Fine-Tuning |
| Haben Sie mindestens 500 bis 5.000 gute Trainingsbeispiele? | Datenbasis für Anpassung vorhanden | Fine-Tuning prüfen |
| Ist das Budget unter 30.000 EUR? | Schneller ROI erforderlich | meist RAG |
| Ist ein eigener Modellvertrieb oder White-Label geplant? | Rollenwechsel möglich | Fine-Tuning nur mit Legal-Check |
Es gibt auch eine sinnvolle Reihenfolge. Viele Unternehmen sollten erst RAG produktiv machen, dann Engpässe messen und nur bei klaren Qualitätslücken in Richtung Fine-Tuning gehen.
- Starten Sie mit RAG, wenn Dokumente, Richtlinien oder Produktwissen im Zentrum stehen.
- Ergänzen Sie Fine-Tuning nur, wenn evaluierte Fehlerbilder mit RAG nicht wirtschaftlich lösbar sind.
- Stoppen Sie das Projekt, wenn Rollenfrage, Datenqualität oder Freigabeprozess ungeklärt bleiben.
Empfehlung für den Mittelstand
Für den Mittelstand ist RAG in den meisten Fällen die bessere Erstentscheidung, weil Zeit, Budget und AI-Act-Risiko kontrollierbar bleiben. Ein sauberes RAG-System bringt oft in weniger als einem Quartal verwertbare Ergebnisse, ohne dass Sie Trainingspipelines und Modellversionierung aufbauen müssen.
Fine-Tuning sollte erst in der zweiten Stufe kommen. Das gilt besonders dann, wenn ein Fachbereich bereits valide Nutzungsdaten, klare Qualitätsmetriken und einen stabilen Prozess nachweisen kann.
Für die Praxis empfiehlt sich diese Reihenfolge:
- KI-Use-Case und Rechtsrolle dokumentieren, bevor Sie Budget freigeben.
- Mit RAG auf einer klar abgegrenzten Wissensbasis pilotieren.
- Quellenanzeige, Logging, Zugriffskontrolle und menschliche Freigabe früh einbauen.
- Art. 4 KI-Kompetenz seit dem 2. Februar 2025 organisatorisch nachweisbar umsetzen.
- Fine-Tuning erst nach einem belastbaren Qualitäts-Baseline-Test freigeben.
Wenn Sie heute zwischen beiden Ansätzen entscheiden müssen, ist die pragmatische Antwort einfach: Erst RAG, dann nur bei echtem Bedarf Fine-Tuning. Für die organisatorische Umsetzung gehören dazu eine klare Rollenlogik, eine KI-Policy für Unternehmen und eine nachvollziehbare Schulung der betroffenen Teams.
Wenn Sie RAG oder Fine-Tuning nicht nur technisch, sondern AI-Act-konform einführen wollen, ist eine gemeinsame Wissensbasis der schnellste Hebel. Unsere EU AI Act Schulung vermittelt Art. 4, Rollenabgrenzung, Dokumentationslogik und typische Unternehmensfehler in einem kompakten Format mit Schulungszertifikat.