Ratgeber
KI-Antworten vor dem Einsatz prüfen
Eine verständliche KI-Antwort kann trotzdem falsch sein. Prüfen Sie deshalb ihre Aussagen gegen die zugrunde liegenden Informationen und gegen gezielte Gegenbeispiele.
Stand: , Redaktion Kunden KI, Köln. Mit KI-Unterstützung erstellt.
Mit freigegebenen Informationen beginnen
Ein betrieblicher KI-Assistent braucht einen klaren Wissensumfang. Dazu können Ihre Leistungsbeschreibungen, Kontaktwege und vereinbarten Abläufe gehören. Halten Sie fest, welche Fassung einer Information gilt und wer Änderungen freigibt.
Widersprüchliche Quellen machen auch eine sprachlich überzeugende Antwort unzuverlässig. Wenn zwei Unterlagen unterschiedliche Angaben enthalten, muss der Widerspruch vor dem Einsatz geklärt werden. Der Assistent sollte ihn nicht nach eigenem Ermessen in eine neue Zusage umwandeln.
Für Informationen, die sich häufig ändern, braucht es einen geeigneten Aktualisierungsweg. Ob eine statische Unterlage genügt oder eine Verbindung zu einem anderen System erforderlich ist, hängt vom vereinbarten Einsatz ab.
Die Aussage prüfen, nicht nur den Ton
Eine Qualitätsprüfung sollte benennen, welche Aussage eine Antwort treffen darf. Ein Test wie „Die Antwort klingt freundlich“ reicht dafür nicht aus. Prüfen Sie, ob genannte Leistungen in der Quelle stehen und ob Voraussetzungen und Grenzen erhalten bleiben.
Besonders relevant sind Verneinungen, Mengen und Zusagen. Aus „Ein Termin wird persönlich bestätigt“ darf kein „Ihr Termin ist gebucht“ werden. Aus einer technischen Beobachtung darf keine garantierte Umsatzwirkung entstehen.
Ein Testfall kann die Eingabe, die zugelassene Quelle und die erwartete Aussage enthalten. Legen Sie auch fest, welche Behauptung ausdrücklich nicht vorkommen darf. So kann eine Prüferin oder ein Prüfer das Ergebnis unabhängig beurteilen.
Ein Gegenbeispiel aus unserem Website-Scanner
Unser Website-Scanner verbindet technische Befunde mit verständlichen Erklärungen. Bei einer dokumentierten Prüfung haben wir untersucht, wie die Erklärung mit widersprechenden Kontaktbefunden umgeht.
Ein Beispiel war eine Seite mit einem Kontaktlink und einem Formular für eine Website-Prüfung. Das Formular ist kein Anfrageformular. Der vorhandene Kontaktlink bleibt trotzdem ein Beleg dafür, dass ein Kontaktweg existiert. Eine Zusammenfassung darf diesen positiven Beleg nicht übergehen.
Die Gegenprobe prüft deshalb die tatsächlichen Quellen und die Aussage der Erklärung gemeinsam. Sie zeigt eine konkrete Fehlerklasse: Eine KI kann einzelne Informationen erkennen und daraus dennoch eine widersprüchliche Zusammenfassung bilden.
Dieses Beispiel stammt aus unserer Scanner-Entwicklung. Es ist kein Nachweis dafür, dass jeder Chatbot dieselbe Fehlerquote hat oder dass damit sämtliche Antwortfehler ausgeschlossen wären.
Welche Fragen in einen Test gehören
- Typische Frage: Eine Antwort steht eindeutig in den freigegebenen Informationen.
- Unvollständige Frage: Eine notwendige Angabe fehlt. Der Assistent muss nachfragen oder an Ihr Team verweisen.
- Widersprechende Annahme: Der Nutzer behauptet etwas, das nicht zur Quelle passt. Der Assistent darf die Behauptung nicht ungeprüft übernehmen.
- Frage außerhalb des Umfangs: Die Quelle gibt keine Grundlage für eine Antwort.
- Verbindliche Zusage: Der Nutzer verlangt einen Termin, Preisnachlass oder eine andere Zusage, die nicht automatisch erteilt werden darf.
Die erwartete Reaktion muss zu Ihrem konkreten Ablauf passen. Ein Verweis an einen Menschen hilft nur, wenn der genannte Kontaktweg vorhanden ist und die zuständige Person das Anliegen bearbeiten kann.
Nach Änderungen dieselben Fälle erneut prüfen
Wenn Sie eine Wissensquelle, eine Antwortregel oder eine technische Anbindung ändern, können sich auch bereits passende Antworten verändern. Wiederholen Sie deshalb die bisherigen Testfälle. Ergänzen Sie neue Fälle für den Anlass der Änderung.
Dokumentieren Sie die geprüfte Fassung und das Ergebnis. Ein bestandener Test belegt genau die untersuchten Fälle in diesem Stand. Er ist keine Garantie für alle denkbaren Gespräche.
Im Betrieb helfen nachvollziehbare Rückmeldungen: Welche Frage wurde gestellt, welche Aussage war falsch und welche Quelle hätte gelten müssen? Für den Einstieg erklärt unser Ratgeber zu KI-Assistenten die Einsatzarten und Grenzen. Die vorhandenen Leistungen finden Sie unter Assistenten.
Häufige Fragen
Kann ein zweites KI-Modell die Prüfung vollständig übernehmen?
Es kann bei einer Gegenprüfung helfen. Entscheidend bleibt der Abgleich mit den zugelassenen Quellen und den erwarteten Aussagen. Auch die Gegenprüfung kann Fehler machen.
Wie viele Testfragen brauche ich?
Eine pauschale Anzahl belegt keine Qualität. Decken Sie typische Anliegen, fehlende Angaben, widersprüchliche Annahmen und die Grenzen Ihres konkreten Einsatzes ab.