RAG steht für Retrieval-Augmented Generation und bedeutet, dass ein Modell vor der Antwort passende Dokumente aus einer externen Wissensbasis abruft. Für Unternehmen ist RAG meist der schnellste Weg, aktuelles Fachwissen nutzbar zu machen, ohne das Modell selbst per Fine-Tuning zu verändern.
Wie RAG funktioniert
RAG kombiniert Suche und Generierung in einem Ablauf. Zuerst werden passende Textstellen gefunden, dann als Kontext an das Modell übergeben und erst danach die Antwort erzeugt. Für das Grundverständnis sind Token in der KI, KI-Inference und Modellgewichtungen die wichtigsten Nachbarbegriffe.
| Schritt | Funktion | Typischer Fehler |
|---|---|---|
| Indexierung | Dokumente werden zerlegt und gespeichert | Schlechte Chunking-Regeln |
| Retrieval | Relevante Textstellen werden gesucht | Falsche oder zu breite Treffer |
| Prompt-Aufbau | Treffer werden als Kontext eingefügt | Zu langes oder widersprüchliches Prompt |
| Antwort | Modell formuliert die Ausgabe | Halluzination trotz Kontext |
- RAG verändert Wissen im Kontext und nicht im Modellkern.
- RAG eignet sich besonders für Richtlinien, FAQs und interne Dokumente.
- RAG braucht gute Quellenqualität und Zugriffskontrollen.
Warum RAG für den EU AI Act oft günstiger ist
RAG ist für viele Unternehmen regulatorisch leichter beherrschbar als tiefes Fine-Tuning. Solange Sie nur ein bestehendes Modell mit internen Dokumenten verbinden, bleiben Sie typischerweise näher an der Betreiberrolle und nicht an der Anbieterrolle. Für die Praxis sollten Sie trotzdem KI-Kompetenz, Transparenzpflichten und Ihr KI-Inventar sauber führen.
- RAG löst keine automatische neue Modellanbieterrolle aus.
- RAG kann Datenschutz- und Zugriffsrisiken erhöhen, wenn sensible Dokumente schlecht abgesichert sind.
- RAG braucht nachvollziehbare Quellen, damit Fachbereiche Antworten prüfen können.
| Use Case | RAG geeignet? |
|---|---|
| Interne Wissenssuche auf Richtlinien | Ja |
| Tagesaktuelle Produkt- oder Rechtsinformationen | Ja |
| Dauerhaft neuer Antwortstil | Eher nein |
Wann RAG die bessere Wahl ist
RAG ist die bessere Wahl, wenn Wissen häufiger aktualisiert wird als Ihr Modellprojekt. Wenn Preislisten, Verträge oder interne Vorgaben monatlich wechseln, ist eine gepflegte Wissensbasis meist wirtschaftlicher als wiederholtes Training. Für den Betrieb sind Self-Hosting-KI, Ollama oder andere Inferenz-Stacks nur Mittel zum Zweck; entscheidend bleibt die Qualität Ihrer Quellen.
- Starten Sie mit RAG, wenn Nachweisbarkeit wichtiger ist als kreatives Verhalten.
- Definieren Sie Freigaben für Dokumentquellen und Aktualisierungszyklen.
- Messen Sie Trefferqualität und Fehlerraten vor einem Ausbau.
RAG ist damit kein Allheilmittel, aber oft der pragmatischste Einstieg in produktive Unternehmens-KI. Wer den Wissensfluss sauber organisiert, reduziert Kosten, Trainingsaufwand und Governance-Risiken zugleich.