Bot-Check: Antworten prüfen und Lücken schließen
Bot-Check
Der Bot-Check klärt eine Frage: Antwortet Ihr Chatbot richtig, wenn Kunden ihn etwas fragen? Die KI stellt ihm bis zu 15 Fragen, bewertet jede Antwort und zeigt, wo er scheitert. Jede Lücke schließen Sie auf derselben Seite, danach wird der Chatbot sofort noch einmal gefragt.
Sie finden die Seite im Menü unter Bot-Check. Wählen Sie oben einen Chatbot aus und klicken Sie auf Jetzt prüfen.
Welche Fragen gestellt werden
| Herkunft | Was dahintersteckt | Anzahl |
|---|---|---|
| Typische Kundenfrage | Die KI liest Ihr Wissen und stellt Fragen so, wie Kunden sie formulieren. Ein Teil davon sind Alltagsfragen, die in Ihrem Wissen fehlen können, etwa nach Öffnungszeiten oder Preisen. | 6 |
| Von einem Besucher gefragt | Fragen aus den letzten 90 Tagen, die Ihr Chatbot echten Besuchern nicht beantworten konnte. Stellen mehrere Besucher dieselbe Frage, steht die Zahl dabei, etwa Von 3 Besuchern gefragt. Bruchstücke wie „Und das andere?“ sortiert die KI vorher aus. | bis zu 5 |
| Deine Frage | Fragen, die Sie selbst unter Eigene Frage hinzufügen eintragen. | bis zu 4 |
Die Liste bleibt bestehen. Jeder weitere Check stellt dieselben Fragen noch einmal, deshalb sehen Sie am Ergebnis, ob Ihre Änderungen wirken. Neue Besucherfragen kommen von selbst dazu.
Das Ergebnis lesen
Oben steht, wie viele Fragen richtig beantwortet wurden, zum Beispiel 9 von 12 Fragen richtig beantwortet, dazu das Ergebnis des Checks davor. Darunter folgen bis zu vier Listen:
- Das solltest du verbessern: jede falsch oder unvollständig beantwortete Frage mit einem Satz zur Ursache. Fragen echter Besucher stehen oben.
- Richtig beantwortet: Ein Klick auf eine Frage zeigt die Antwort Ihres Chatbots.
- Noch nicht geprüft: Fragen, die der letzte Check nicht mehr erreicht hat, etwa weil das Nachrichtenkontingent aufgebraucht war. Der nächste Check stellt sie wieder.
- Ausgeblendet: Fragen, die Sie als Nicht wichtig markiert haben.
Die drei Ursachen
| Ursache auf der Seite | Bedeutung | Was Sie tun |
|---|---|---|
| Dazu steht nichts in deinem Wissen. | Die Information fehlt. Nur Sie kennen die Antwort, die KI erfindet nichts. | Antwort eintragen |
| Die Antwort steht in „…“, dein Bot findet sie aber nicht zuverlässig. | Die Information ist vorhanden, liegt aber zu versteckt. Die KI hat aus Ihren eigenen Inhalten einen Vorschlag vorbereitet. | Vorschlag ansehen, prüfen und übernehmen |
| Dein Bot hatte die passenden Inhalte vor sich und hat trotzdem nicht richtig geantwortet. | Mehr Wissen hilft hier nicht. Es liegt an der Rolle, also den Anweisungen, wie der Chatbot antworten soll. | Rolle verbessern |
Eine Lücke schließen
- Klicken Sie bei der Frage auf Antwort eintragen oder Vorschlag ansehen. Der Dialog zeigt, was Ihr Chatbot geantwortet hat.
- Tragen Sie die richtige Antwort ein. Ein bis zwei Sätze reichen, zum Beispiel: „Samstags haben wir von 9 bis 13 Uhr geöffnet.“
- Klicken Sie auf Speichern und nachprüfen.
Die Antwort wird als eigener Texteintrag in Ihrem Wissen gespeichert, benannt nach der Frage. Danach stellt die KI Ihrem Chatbot die Frage sofort noch einmal. Antwortet er jetzt richtig, wandert die Frage zu Richtig beantwortet. Antwortet er weiter falsch, formulieren Sie genauer und speichern erneut. Der Eintrag wird dabei überschrieben, es entsteht kein zweiter.
Ist eine Frage für Ihr Geschäft unwichtig, klicken Sie auf Nicht wichtig. Sie zählt dann nicht mehr mit und wird nicht mehr gestellt. Unter Ausgeblendet holen Sie sie mit Wieder aufnehmen zurück.
Nachrichtenkontingent
Wird eine Antwort anders bewertet als beim Check davor, stellt der Bot-Check die Frage ein zweites Mal. Die Bewertung wechselt nur, wenn auch die zweite Antwort so bewertet wird. So kippt das Ergebnis nicht, nur weil Ihr Chatbot eine Antwort anders formuliert hat. Das betrifft höchstens drei Fragen pro Check, die dann doppelt zählen.
In Ihren Unterhaltungen, in den Analysen und auf der Seite Fragen tauchen die Testfragen nicht auf.
Weitere Werkzeuge
Unter dem Bot-Check stehen zwei Werkzeuge für besondere Fälle. Beide öffnen sich als eigene Ansicht, mit Zurück zum Bot-Check kehren Sie zurück.
Rolle verbessern
Die Rolle legt fest, wie Ihr Chatbot antwortet: Ton, Länge, was er tun und lassen soll. Dieses Werkzeug schlägt eine bessere Fassung vor und zeigt, ob sie wirklich besser antwortet.
- Klicken Sie auf Verbesserte Rolle vorschlagen. Die KI liest, woran Ihr Chatbot im Bot-Check scheitert.
- Vergleichen Sie Aktuelle Rolle und Vorgeschlagene Rolle. Den Vorschlag können Sie bearbeiten, eine Begründung nennt die Änderungen.
- Wählen Sie die Fragen (5 frische Testfragen generieren oder Fragen aus dem Bot-Check verwenden) und klicken Sie auf Vergleich starten. Beide Rollen beantworten dieselben Fragen, die KI wählt je Frage die bessere Antwort.
- Antwortet die neue Rolle besser, klicken Sie auf Rolle übernehmen.
Der Vergleich stellt jede Frage zweimal und verbraucht entsprechend viele Nachrichten. Die Seite nennt die Zahl vor dem Start.
Modelle vergleichen
Dieses Werkzeug stellt dieselben Fragen an zwei oder drei KI-Modelle. So sehen Sie, ob ein schnelleres Modell für Ihre Inhalte reicht.
- Wählen Sie 2 bis 3 Modelle. Ihr aktuelles Modell ist markiert.
- Wählen Sie die Fragen und klicken Sie auf Vergleich starten.
- Die Tabelle zeigt je Modell die Qualität und die Median-Latenz, also die typische Antwortzeit, dazu eine Empfehlung.
- Mit Für diesen Bot nutzen stellen Sie Ihren Chatbot auf ein Modell um.
Grenzen
| Grenze | Wert |
|---|---|
| Fragen pro Check | höchstens 15 |
| Testphase | höchstens 3 Checks pro Chatbot und Tag |
| Zeit pro Frage | 40 Sekunden |
| Zeit pro Check | 90 Sekunden. Was dann noch offen ist, steht unter Noch nicht geprüft. |
So holen Sie am meisten heraus
- Besucherfragen zuerst: An ihnen sind echte Kunden gescheitert.
- Nach jeder größeren Änderung am Wissen erneut prüfen: Der Vergleich mit dem Check davor zeigt, ob es besser geworden ist.
- Eigene Fragen nutzen: Tragen Sie ein, was Kunden am Telefon oder per E-Mail häufig fragen.
- Die Rolle erst ändern, wenn die Seite es nahelegt: Meist fehlt Wissen, nicht eine andere Anweisung.
