Sie laden ein Handbuch hoch. Der Chatbot beantwortet drei Fragen richtig und erfindet bei der vierten eine Ausnahme, die nirgendwo steht. Wieso passiert das, obwohl er das PDF doch hat?
RAG verbindet eine Suche in Ihren Unterlagen mit einem Sprachmodell. Bei einer Frage sucht das System passende Textstellen und gibt sie dem Modell als Arbeitsgrundlage. Das ist keine Garantie, dass jede relevante Stelle gefunden, richtig zugeordnet oder korrekt wiedergegeben wird. Microsoft beschreibt diese Trennung zwischen Suche und Antworterzeugung sowie ihre Grenzen in seiner RAG-Dokumentation.
Für ein kleines Unternehmen ist deshalb weniger entscheidend, wie viele PDFs hochgeladen werden können. Entscheidend ist: Kann eine zuständige Person erkennen, woher eine Antwort kommt und ob die verwendeten Unterlagen gelten?
Eine Frage, zwei getrennte Arbeitsgänge
Stellen wir uns ein fiktives Servicehandbuch vor. Darin steht: „Expressbearbeitung innerhalb von zwei Werktagen. Ausgenommen sind Aufträge, für die Unterlagen nachgefordert werden müssen.“ Ein Kunde fragt: „Sind meine Dokumente mit Express bis Donnerstag fertig?“
Ein brauchbarer Assistent muss zunächst die richtige Regel finden. Anschließend muss er unterscheiden, was diese Regel beantwortet und was offenbleibt: den Eingangstag, die Vollständigkeit der Unterlagen und mögliche weitere Bedingungen. „Ja, sicher“ wäre durch diesen Text nicht gedeckt.
Die Grafik am Artikelanfang zeigt beide Arbeitsgänge: Beim Einrichten und Aktualisieren werden Inhalte extrahiert, gegliedert und durchsuchbar gemacht. Bei jeder Frage sucht das System relevante, zugelassene Stellen und erstellt daraus eine Antwort. Fehlt eine Voraussetzung, ist eine Rückfrage das richtige Ergebnis.
Warum ein PDF mehr als Text ist
Menschen erkennen auf einer Seite Überschriften, Fußnoten und Tabellen. Bei der automatischen Verarbeitung muss diese Struktur erst erhalten oder rekonstruiert werden. Ein Scan benötigt Texterkennung. Eine zweispaltige Seite kann in der falschen Reihenfolge ausgelesen werden. Bei einer Preistabelle kann eine Zahl ihre Spaltenüberschrift verlieren.
Unser praktischer Vorschlag für die Abnahme: Lassen Sie sich nicht nur den erfolgreichen Upload zeigen. Öffnen Sie die extrahierte Fassung einer schwierigen Seite. Stehen Betrag, Einheit und zugehörige Leistung noch zusammen? Ist die Fußnote erkennbar? Ein Sprachmodell kann einen Fehler aus diesem Schritt sprachlich überzeugend weitertragen.
Bei wenigen kurzen Unterlagen kann auch die direkte Übergabe vollständiger Dokumente sinnvoll sein. RAG ist besonders nützlich, wenn eine größere oder häufig aktualisierte Sammlung gezielt durchsucht werden soll. Es ist kein Pflichtbaustein für jeden Assistenten.
Chunking: Wo endet ein sinnvoller Ausschnitt?
„Chunks“ sind Abschnitte, in die Inhalte für die Suche zerlegt werden. Zu kleine Ausschnitte verlieren Zusammenhänge; zu große enthalten viel Material, das mit der Frage wenig zu tun hat. Überschriften, Bedingungen und Ausnahmen sollten zusammen auffindbar bleiben. Eine universell richtige Abschnittslänge gibt es nicht: Microsoft nennt unterschiedliche Verfahren und empfiehlt die Abstimmung auf Dokumentstruktur und Fragen. Quelle: Dokumente für RAG aufteilen.
Im Expressbeispiel ist die Ausnahme kein nebensächlicher Satz. Wird sie vom Angebot getrennt und bei der Suche nicht mitgeliefert, entsteht eine wichtige Informationslücke. Der sinnvolle Test lautet daher: „Findet das System die Regel einschließlich ihrer Einschränkung?“ Er lautet nicht: „Haben wir eine bestimmte Anzahl Zeichen eingestellt?“
Die vier Fehlerbilder, die sich leicht verwechseln lassen
| Beobachtung | Zuerst prüfen | Sinnvolle Korrektur |
|---|---|---|
| Eine Zahl ist falsch, obwohl die richtige Datei vorliegt | Extrahierten Text und Tabellenbezug | Dokumentaufbereitung korrigieren |
| Eine Antwort verwendet einen alten Preis | Version und Gültigkeitsdatum der Fundstelle | Alte Fassung aus der aktiven Suche entfernen |
| Die Regel stimmt, die Ausnahme fehlt | Gefundene Abschnitte samt Nachbartext | Gliederung und Suche gemeinsam prüfen |
| Eine interne Information erscheint im Kundenchat | Zugriff vor der Suche | Öffentliche und geschützte Inhalte technisch trennen |
Die Tabelle ist eine Diagnosehilfe, keine vollständige Fehlerliste. Auch die Antworterzeugung selbst kann Aussagen ergänzen, die in den Treffern nicht stehen. Deshalb müssen Sie Suchergebnis und fertige Antwort getrennt ansehen können.
Ein Dokument braucht einen Verantwortlichen
Legen Sie für wichtige Unterlagen fest, wer Änderungen freigibt, ab wann sie gelten und welche Fassung ersetzt wird. Ein Dateiname wie „Preise_final_neu_2.pdf“ löst diese Fragen nicht. Hilfreicher sind eindeutig gepflegte Angaben zu Titel, Version, Gültigkeit und Quelle.
Prüfen Sie beim Austausch einer Datei auch den Suchbestand. Dass eine neue Fassung hinzugefügt wurde, beweist noch nicht, dass die alte nicht mehr verwendet wird. Nehmen Sie eine Frage mit dem geänderten Wert in Ihre Abnahme auf. Wiederholen Sie sie nach jedem relevanten Update.
Zugriffsrechte gehören ebenfalls vor die Antworterzeugung. Ein öffentliches Widget darf keine vertraulichen Dokumente erhalten und lediglich angewiesen werden, daraus nichts zu verraten. Microsoft zeigt beispielsweise, wie Suchergebnisse mit Identitätsfiltern eingeschränkt werden; die Anwendung muss die Berechtigung dabei tatsächlich durchsetzen. Quelle: Sicherheitsfilter für Suchergebnisse.
So prüfen Sie die Wissensdatenbank mit Ihrem Team
Die Wissenssuche ist nur eine Kontrollschicht. Wie Sie Quellen, Abbruchregeln und die Übergabe kombinieren, zeigt unser Leitfaden zu Halluzinationen im Kundenservice.
Wählen Sie als erste Arbeitsprobe etwa 20 Fragen aus dem tatsächlichen Alltag. Diese Zahl ist ein überschaubarer Startvorschlag, kein statistischer Qualitätsnachweis. Mischen Sie eindeutige Fragen, Ausnahmen, veraltete Begriffe und Fragen, deren Antwort ausdrücklich nicht in den Unterlagen steht.
Notieren Sie pro Frage die erwartete Fundstelle, zulässige Aussage und notwendige Rückfrage. Prüfen Sie dann: Wurde die richtige Passage gefunden? Stützt sie die Antwort? Wird fehlendes Wissen benannt? Bei personenbezogenen Informationen kommt hinzu: Darf genau dieser Nutzer diese Antwort erhalten?
Eine Quellenangabe ist ein Prüfweg, kein Qualitätssiegel. Öffnen Sie den Verweis und vergleichen Sie die entscheidende Aussage. Wenn der Beleg nur dasselbe Thema erwähnt, ist die Antwort noch nicht belegt.
Sie planen eine Wissensdatenbank mit KI-Assistent? Bringen Sie zum ersten Gespräch lieber drei typische Fragen und ein schwieriges Dokument mit als einen ungeordneten Gesamtordner. Daran lässt sich konkret prüfen, welche Vorbereitung Ihre Inhalte benötigen.