Bot-Check: Antworten prüfen und Lücken schließen

Bot-Check

Der Bot-Check klärt eine Frage: Antwortet Ihr Chatbot richtig, wenn Kunden ihn etwas fragen? Die KI stellt ihm bis zu 15 Fragen, bewertet jede Antwort und zeigt, wo er scheitert. Jede Lücke schließen Sie auf derselben Seite, danach wird der Chatbot sofort noch einmal gefragt.

Sie finden die Seite im Menü unter Bot-Check. Wählen Sie oben einen Chatbot aus und klicken Sie auf Jetzt prüfen.

Der Bot-Check erfordert den Basic-Tarif oder höher. In der 14-tägigen Testphase ist er enthalten, dort mit höchstens 3 Checks pro Chatbot und Tag.

Welche Fragen gestellt werden

HerkunftWas dahinterstecktAnzahl
Typische KundenfrageDie KI liest Ihr Wissen und stellt Fragen so, wie Kunden sie formulieren. Ein Teil davon sind Alltagsfragen, die in Ihrem Wissen fehlen können, etwa nach Öffnungszeiten oder Preisen.6
Von einem Besucher gefragtFragen aus den letzten 90 Tagen, die Ihr Chatbot echten Besuchern nicht beantworten konnte. Stellen mehrere Besucher dieselbe Frage, steht die Zahl dabei, etwa Von 3 Besuchern gefragt. Bruchstücke wie „Und das andere?“ sortiert die KI vorher aus.bis zu 5
Deine FrageFragen, die Sie selbst unter Eigene Frage hinzufügen eintragen.bis zu 4

Die Liste bleibt bestehen. Jeder weitere Check stellt dieselben Fragen noch einmal, deshalb sehen Sie am Ergebnis, ob Ihre Änderungen wirken. Neue Besucherfragen kommen von selbst dazu.

Das Ergebnis lesen

Oben steht, wie viele Fragen richtig beantwortet wurden, zum Beispiel 9 von 12 Fragen richtig beantwortet, dazu das Ergebnis des Checks davor. Darunter folgen bis zu vier Listen:

  • Das solltest du verbessern: jede falsch oder unvollständig beantwortete Frage mit einem Satz zur Ursache. Fragen echter Besucher stehen oben.
  • Richtig beantwortet: Ein Klick auf eine Frage zeigt die Antwort Ihres Chatbots.
  • Noch nicht geprüft: Fragen, die der letzte Check nicht mehr erreicht hat, etwa weil das Nachrichtenkontingent aufgebraucht war. Der nächste Check stellt sie wieder.
  • Ausgeblendet: Fragen, die Sie als Nicht wichtig markiert haben.

Die drei Ursachen

Ursache auf der SeiteBedeutungWas Sie tun
Dazu steht nichts in deinem Wissen.Die Information fehlt. Nur Sie kennen die Antwort, die KI erfindet nichts.Antwort eintragen
Die Antwort steht in „…“, dein Bot findet sie aber nicht zuverlässig.Die Information ist vorhanden, liegt aber zu versteckt. Die KI hat aus Ihren eigenen Inhalten einen Vorschlag vorbereitet.Vorschlag ansehen, prüfen und übernehmen
Dein Bot hatte die passenden Inhalte vor sich und hat trotzdem nicht richtig geantwortet.Mehr Wissen hilft hier nicht. Es liegt an der Rolle, also den Anweisungen, wie der Chatbot antworten soll.Rolle verbessern

Eine Lücke schließen

  1. Klicken Sie bei der Frage auf Antwort eintragen oder Vorschlag ansehen. Der Dialog zeigt, was Ihr Chatbot geantwortet hat.
  2. Tragen Sie die richtige Antwort ein. Ein bis zwei Sätze reichen, zum Beispiel: „Samstags haben wir von 9 bis 13 Uhr geöffnet.“
  3. Klicken Sie auf Speichern und nachprüfen.

Die Antwort wird als eigener Texteintrag in Ihrem Wissen gespeichert, benannt nach der Frage. Danach stellt die KI Ihrem Chatbot die Frage sofort noch einmal. Antwortet er jetzt richtig, wandert die Frage zu Richtig beantwortet. Antwortet er weiter falsch, formulieren Sie genauer und speichern erneut. Der Eintrag wird dabei überschrieben, es entsteht kein zweiter.

Ist eine Frage für Ihr Geschäft unwichtig, klicken Sie auf Nicht wichtig. Sie zählt dann nicht mehr mit und wird nicht mehr gestellt. Unter Ausgeblendet holen Sie sie mit Wieder aufnehmen zurück.

Speichern ändert Ihr Wissen. Teammitglieder brauchen dafür das Recht, den Chatbot zu bearbeiten. Der Text zählt zur Wissensmenge Ihres Tarifs.

Nachrichtenkontingent

Jede Frage des Bot-Checks zählt wie eine echte Unterhaltung zu Ihrem monatlichen Nachrichtenkontingent: eine Nachricht für die Frage, eine für die Antwort. Premium-Modelle zählen mehrfach. Vor dem Start nennt die Seite die Obergrenze für den nächsten Check. Siehe Zählung von Nachrichten.

Wird eine Antwort anders bewertet als beim Check davor, stellt der Bot-Check die Frage ein zweites Mal. Die Bewertung wechselt nur, wenn auch die zweite Antwort so bewertet wird. So kippt das Ergebnis nicht, nur weil Ihr Chatbot eine Antwort anders formuliert hat. Das betrifft höchstens drei Fragen pro Check, die dann doppelt zählen.

In Ihren Unterhaltungen, in den Analysen und auf der Seite Fragen tauchen die Testfragen nicht auf.


Weitere Werkzeuge

Unter dem Bot-Check stehen zwei Werkzeuge für besondere Fälle. Beide öffnen sich als eigene Ansicht, mit Zurück zum Bot-Check kehren Sie zurück.

Rolle verbessern

Die Rolle legt fest, wie Ihr Chatbot antwortet: Ton, Länge, was er tun und lassen soll. Dieses Werkzeug schlägt eine bessere Fassung vor und zeigt, ob sie wirklich besser antwortet.

  1. Klicken Sie auf Verbesserte Rolle vorschlagen. Die KI liest, woran Ihr Chatbot im Bot-Check scheitert.
  2. Vergleichen Sie Aktuelle Rolle und Vorgeschlagene Rolle. Den Vorschlag können Sie bearbeiten, eine Begründung nennt die Änderungen.
  3. Wählen Sie die Fragen (5 frische Testfragen generieren oder Fragen aus dem Bot-Check verwenden) und klicken Sie auf Vergleich starten. Beide Rollen beantworten dieselben Fragen, die KI wählt je Frage die bessere Antwort.
  4. Antwortet die neue Rolle besser, klicken Sie auf Rolle übernehmen.

Der Vergleich stellt jede Frage zweimal und verbraucht entsprechend viele Nachrichten. Die Seite nennt die Zahl vor dem Start.

Modelle vergleichen

Dieses Werkzeug stellt dieselben Fragen an zwei oder drei KI-Modelle. So sehen Sie, ob ein schnelleres Modell für Ihre Inhalte reicht.

  1. Wählen Sie 2 bis 3 Modelle. Ihr aktuelles Modell ist markiert.
  2. Wählen Sie die Fragen und klicken Sie auf Vergleich starten.
  3. Die Tabelle zeigt je Modell die Qualität und die Median-Latenz, also die typische Antwortzeit, dazu eine Empfehlung.
  4. Mit Für diesen Bot nutzen stellen Sie Ihren Chatbot auf ein Modell um.
Der Wechsel zu einem Modell eines anderen Anbieters löscht alle eingelesenen Inhalte des Chatbots und liest sämtliche Datenquellen neu ein. Bis das abgeschlossen ist, kann der Chatbot Wissensfragen nicht beantworten. Die Seite fragt vorher nach. Ein Wechsel innerhalb desselben Anbieters wirkt sofort.

Grenzen

GrenzeWert
Fragen pro Checkhöchstens 15
Testphasehöchstens 3 Checks pro Chatbot und Tag
Zeit pro Frage40 Sekunden
Zeit pro Check90 Sekunden. Was dann noch offen ist, steht unter Noch nicht geprüft.

So holen Sie am meisten heraus

  • Besucherfragen zuerst: An ihnen sind echte Kunden gescheitert.
  • Nach jeder größeren Änderung am Wissen erneut prüfen: Der Vergleich mit dem Check davor zeigt, ob es besser geworden ist.
  • Eigene Fragen nutzen: Tragen Sie ein, was Kunden am Telefon oder per E-Mail häufig fragen.
  • Die Rolle erst ändern, wenn die Seite es nahelegt: Meist fehlt Wissen, nicht eine andere Anweisung.