„Natürlich bekommen Sie den Betrag vollständig zurück.“ Wenn diese Zusage nicht gedeckt ist, hilft es wenig, dass der Chatbot freundlich und schnell geantwortet hat. Im Kundenservice zählen die Richtigkeit der Auskunft und die Folgen, die sie auslöst.
Halluzinationen lassen sich bei generativen Sprachmodellen nicht durch einen einzelnen Prompt zuverlässig ausschließen. Sinnvoll ist eine Kombination aus begrenztem Aufgabenbereich, nachprüfbaren Informationen, technischen Kontrollen und einer funktionierenden Übergabe an Menschen. NIST behandelt überzeugend formulierte Falschaussagen als eigenes Risiko generativer KI. Quelle: NIST, Generative AI Profile.
Die folgenden sechs Maßnahmen bilden einen praktischen Prüfplan. Sie sind keine Behauptung, dass ein bestimmtes Produkt damit automatisch fehlerfrei arbeitet.
1. Fragen eingrenzen, bevor Sie Antworten optimieren
Legen Sie fest, welche Anliegen der Assistent bearbeiten darf. Öffnungszeiten erklären, Unterlagen nennen oder eine Anfrage zuordnen sind andere Aufgaben als Ausnahmen genehmigen, verbindliche Fristen zusagen oder Verträge auslegen.
Schreiben Sie für jeden Bereich drei Dinge auf: zulässige Antwort, benötigte Informationsquelle und Eskalationsgrund. Im Erstattungsbeispiel könnte der Assistent den allgemeinen Ablauf erklären. Eine individuelle Zusage benötigt dagegen einen geprüften Vorgang und die entsprechende Befugnis.
Prüffrage: Was passiert, wenn ein Kunde ausdrücklich eine Ausnahme verlangt? Eine gute Begrenzung bleibt auch dann wirksam, wenn er mehrfach nachfragt. Sie darf nicht ausschließlich darauf beruhen, dass das Modell eine Anweisung freundlich befolgt.
2. Quellen verlangen und ihren Inhalt tatsächlich vergleichen
Wie Dokumente zu auffindbaren Textstellen werden, erklärt der RAG-Leitfaden für Nicht-Techniker. Eine erfolgreiche Suche allein bestätigt noch nicht die daraus formulierte Aussage.
Eine Wissenssuche kann passende Passagen aus freigegebenen Unterlagen bereitstellen. Die Antwort soll sich auf diese Passagen beschränken und wesentliche Aussagen nachvollziehbar belegen. Ein Link unter einer Antwort genügt allerdings nicht: Der verlinkte Inhalt muss die konkrete Aussage tragen.
OWASP empfiehlt unter anderem die Einbindung externer Informationen, Überprüfung und angemessene menschliche Kontrolle. Die Organisation warnt zugleich vor übermäßigem Vertrauen in plausibel formulierte Ergebnisse. Quelle: OWASP zu Fehlinformationen durch LLMs.
Prüffrage: Stützt die zitierte Regel auch die genannte Ausnahme, Summe oder Frist? Lassen Sie eine zuständige Person solche Aussagen anhand der Originalquelle prüfen. Wenn der Kunde die Quelle aus Berechtigungsgründen nicht öffnen darf, braucht das interne Team trotzdem eine prüfbare Referenz.
3. Preise, Termine und Status aus dem zuständigen System holen
Ein Sprachmodell sollte einen aktuellen Auftragsstatus nicht aus einem alten Gespräch rekonstruieren. Wenn verlässliche Daten in einem Fachsystem liegen, ist eine gezielte Abfrage sinnvoller als eine freie Vermutung. Die Anwendung muss dabei Nutzerrechte, Zuordnung zum richtigen Vorgang und mögliche Fehler prüfen.
Trennen Sie außerdem Auskunft und Handlung. „Der Auftrag ist noch nicht versendet“ ist eine Information. „Ich habe ihn storniert“ behauptet eine erfolgte Änderung. Letzteres darf erst nach einer bestätigten Ausführung gesagt werden. Ein fehlgeschlagener Systemaufruf ist kein Erfolg.
OWASP empfiehlt, Werkzeuge und Berechtigungen auf das Nötige zu begrenzen und folgenreiche Aktionen gesondert freigeben zu lassen. Quelle: OWASP zu übermäßiger Handlungsbefugnis.
Prüffrage: Wie antwortet der Assistent, wenn das Fachsystem nicht erreichbar ist? Erwartet wird eine nachvollziehbare Einschränkung mit Ersatzweg, keine geschätzte Bestätigung.
4. Abbruchregeln an Belegen festmachen
„Wie sicher bist du auf einer Skala von null bis hundert?“ liefert keine verlässlich kalibrierte Fehlerwahrscheinlichkeit. Auch ein hoher Suchscore bedeutet nicht automatisch, dass eine Antwort sachlich richtig ist. Falls Ihr System Schwellenwerte verwendet, müssen Sie deren Bedeutung und Eignung an repräsentativen Fällen prüfen.
Besser verständlich sind konkrete Abbruchgründe: keine freigegebene Quelle gefunden, zwei gültige Quellen widersprechen sich, erforderliche Kundendaten fehlen oder die Frage liegt außerhalb des erlaubten Bereichs. Daraus lassen sich überprüfbare Regeln für Rückfragen und Übergaben ableiten.
Prüffrage: Lehnt das System auch eine verführerisch einfache Frage ab, wenn die nötige Information fehlt? Nehmen Sie solche Fälle bewusst in die Abnahme auf. Eine hilfreiche Rückfrage ist erfolgreicher Service, kein technisches Versagen.
5. Die Übergabe als vollständigen Vorgang gestalten
„Bitte wenden Sie sich an den Support“ verschiebt das Problem, wenn der Kunde anschließend alles neu erklären muss. Legen Sie fest, welche Angaben mitgegeben werden: Anliegen, bereits geklärte Fakten, offene Frage und verwendete Quellen. Übermitteln Sie nur, was für die Bearbeitung benötigt wird.
Auch die Zuständigkeit muss funktionieren. Wer bekommt den Vorgang? Wie erkennt die Person den Eskalationsgrund? Was sieht der Kunde außerhalb der Servicezeiten? Nennen Sie nur Reaktionszeiten, die Ihr Team tatsächlich tragen kann.
Prüffrage: Lassen Sie eine Kollegin einen übergebenen Vorgang bearbeiten, ohne den ursprünglichen Chat selbst suchen zu müssen. Wird noch eine wichtige Information vermisst, verbessern Sie die Übergabe, bevor Sie mehr Anliegen automatisieren.
6. Nicht nur Treffer zählen, sondern Fehler und Folgen
Ein Test mit fünf idealen Fragen zeigt eine Demonstration. Für eine Freigabe benötigen Sie einen abgegrenzten, dokumentierten Fragenbestand mit normalen Fällen, Ausnahmen, fehlenden Informationen und provozierten Fehlern. Legen Sie die erwartete Reaktion vor dem Test fest.
Unser Vorschlag: Erfassen Sie die folgenden Größen getrennt. Ein Gesamtscore kann verbergen, dass gerade wichtige Fragen scheitern.
| Messgröße | Was Sie damit erkennen |
|---|---|
| Sachlich richtige Antworten | Ob die inhaltliche Aufgabe gelingt |
| Tatsächlich belegte Aussagen | Ob Quellen mehr als Dekoration sind |
| Unbegründete Zusagen | Ob geschäftlich riskante Aussagen entstehen |
| Sinnvolle Rückfragen und Übergaben | Ob das System mit Grenzen umgehen kann |
| Unnötige Übergaben | Ob die Kontrolle den Service unbrauchbar macht |
| Korrekturaufwand des Teams | Ob die Unterstützung im Alltag entlastet |
Prüffrage: Besteht das System die gleichen kritischen Fälle nach einer Änderung an Modell, Anweisungen oder Wissensbestand noch? Bewahren Sie diese Fälle als wiederholbare Prüfung auf und ergänzen Sie neue Fehler aus dem Betrieb unter Beachtung Ihrer Datenschutzregeln.
Eine realistische Freigabeentscheidung
Beginnen Sie mit einem engen Themenbereich und schreiben Sie offen auf, welche Fragen weiterhin Menschen bearbeiten. Wenn ein Fehler eine falsche finanzielle Zusage auslösen kann, braucht dieser Ablauf andere Kontrollen als die Erklärung einer allgemeinen Leistung.
Für ein Gespräch über KI im Kundenservice sind zehn schwierige echte Fragen besonders nützlich. Entfernen Sie dafür personenbezogene Angaben. Daraus lässt sich ein konkreter Prüfplan entwickeln und feststellen, welche Antworten automatisiert werden können und wo eine menschliche Entscheidung bleiben sollte.