RAG antwortet selbstbewusst falsch: Modell wechseln oder Daten verbessern?

Konzeptionelle Quelle: Microsoft Learns RAG-Evaluatoren. Die Dokumentation trennt Retrieval- und Antwortbewertung. Ablauf und Beispiele sind eine unabhängige Analyse, keine Produktvorstellung oder Einführungserfahrung.

Ein Assistent beantwortet die Frage zum Geräteeinkauf flüssig mit Link, verweist aber auf eine alte Vorschrift. Das muss keine Halluzination sein. Möglicherweise hat das Modell das falsche Dokument korrekt zusammengefasst.

Eine falsche Antwort hat mehrere mögliche Ursachen

RAG liefert meist gefundene Textabschnitte. Fehler können vorher entstehen: Richtiges Dokument fehlt im Index, passende Passage wird übersehen oder die alte Version steht vorne. Oder der richtige Text kommt an, die Antwort geht aber darüber hinaus.

Qualität ist für mich keine einzelne Note. Fehlende Belege und fehlerhafte Belegnutzung sind zu trennen. Ein besseres Modell mit demselben falschen Kontext liefert nicht zwangsläufig eine akzeptable Antwort.

Ein Beleg ist mehr als ein schöner Link

Ein Link beweist keine Behauptung. Prüfer müssen Passage, Datum und Gültigkeitsbereich finden können. Texttreue beweist keine heutige Richtigkeit: Veraltete Unterlagen ermöglichen belegte, aber unzulässige Antworten.

Die Tabelle ist ein Vorschlag, keine garantierte Werkzeugfunktion. Inhaltskonflikte brauchen Verantwortliche und Organisationsregeln; das Modell soll nicht stillschweigend Richtliniengeber werden.

Den Testbestand aus echten Fragen entwickeln

1. Häufige Fragen ohne vertrauliche Daten sammeln.
2. Erwartete Dokumente und Passagen mit der Verantwortung bestimmen.
3. Unbeantwortbare, mehrdeutige, veraltete und zugriffsbeschränkte Fälle ergänzen.
4. Retrieval, Belegkorrektheit und Antwortabnahme getrennt erfassen.

Änderungen daran vergleichen. Werden Modell, Anweisung, Aufteilung und Suche zugleich geändert, bleibt der Grund von Verbesserung oder Rückschritt unklar. Eine gelungene Vorführung vertritt nicht alle Mitarbeiterfragen.

Rechte gehören zur Qualität

Eine richtige Antwort an Unberechtigte ist kein Erfolg. Prüfen, wie Dokumentrechte gelten und ob verbotene Inhalte durch Andeutungen oder Zusammenfassungen herausgelangen. Auch Protokolle dürfen kein offenes Geheimtextarchiv werden: notwendige Kennungen und Metadaten angemessen schützen.

Entscheidungsfragen

Wann das Modell aufrüsten?

Wenn richtige, erlaubte Belege ankommen, aber Nutzung oder Antwortform scheitern und ein kontrollierter Test akzeptable Verbesserung zeigt. Kosten und Latenz bleiben Abnahmekriterien.

Reicht automatische Bewertung?

Sie hilft beim Wiederholen, kann aber irren. Grenzfälle und sensible Antworten brauchen Inhaltsverantwortliche. Gute Noten bedeuten keine Fehlerfreiheit.

Wer hält Dokumente aktuell?

Vorher festlegen. Ich empfehle Zuständigkeit, Prüftermin und Entfernung überholter Fassungen. „Das Modell merkt es“ ersetzt keine Pflege.

Endmaßstab ist eine akzeptierte Antwort auf eine berechtigte Frage mit tatsächlich passenden Belegen. Zur Leistung siehe CPU-/GPU-Engpässe.

Quelle geprüft am 2. November 2026. Beispiele sind angenommen, das Verfahren eigenständig und keine Genauigkeitsgarantie.