Botcheck: antwoorden controleren en hiaten dichten

Botcheck

De botcheck beantwoordt één vraag: geeft uw chatbot het juiste antwoord als klanten iets vragen? De AI stelt hem maximaal 15 vragen, beoordeelt elk antwoord en laat zien waar het misgaat. Elk hiaat dicht u op dezelfde pagina, daarna krijgt de chatbot de vraag meteen opnieuw.

U vindt de pagina in het menu onder Botcheck. Kies bovenaan een chatbot en klik op Nu controleren.

De botcheck vereist het Basic-pakket of hoger. In de proefperiode van 14 dagen is hij inbegrepen, met maximaal 3 checks per chatbot per dag.

Welke vragen worden gesteld

HerkomstWat erachter zitAantal
Typische klantvraagDe AI leest uw kennis en stelt vragen zoals klanten ze formuleren. Een deel zijn alledaagse vragen die in uw kennis kunnen ontbreken, bijvoorbeeld over openingstijden of prijzen.6
Gesteld door een bezoekerVragen uit de afgelopen 90 dagen die uw chatbot voor echte bezoekers niet kon beantwoorden. Stelden meerdere bezoekers dezelfde vraag, dan staat het aantal erbij, bijvoorbeeld Gesteld door 3 bezoekers. Losse flarden zoals ‘En die andere?’ haalt de AI er vooraf uit.maximaal 5
Jouw vraagVragen die u zelf invult onder Eigen vraag toevoegen.maximaal 4

De lijst blijft bestaan. Elke volgende check stelt dezelfde vragen opnieuw, zodat u aan het resultaat ziet of uw wijzigingen werken. Nieuwe bezoekersvragen komen er vanzelf bij.

Het resultaat lezen

Bovenaan staat hoeveel vragen goed zijn beantwoord, bijvoorbeeld 9 van 12 vragen goed beantwoord, met daarbij het resultaat van de vorige check. Daaronder staan maximaal vier lijsten:

  • Dit kun je verbeteren: elke vraag die fout of onvolledig is beantwoord, met één zin over de oorzaak. Vragen van echte bezoekers staan bovenaan.
  • Goed beantwoord: klik op een vraag om het antwoord van uw chatbot te zien.
  • Nog niet gecontroleerd: vragen waar de laatste check niet meer aan toekwam, bijvoorbeeld omdat het berichtentegoed op was. De volgende check stelt ze opnieuw.
  • Verborgen: vragen die u als Niet belangrijk hebt gemarkeerd.

De drie oorzaken

Oorzaak op de paginaBetekenisWat u doet
Hierover staat niets in je kennis.De informatie ontbreekt. Alleen u kent het antwoord, de AI verzint niets.Antwoord invullen
Het antwoord staat in ‘…’, maar je bot vindt het niet betrouwbaar.De informatie is er, maar zit te diep verstopt. De AI heeft op basis van uw eigen inhoud een voorstel klaargezet.Voorstel bekijken, controleren en overnemen
Je bot had de juiste inhoud voor zich en gaf toch geen goed antwoord.Meer kennis helpt hier niet. Het ligt aan de rol, de instructies voor hoe de chatbot moet antwoorden.Rol verbeteren

Een hiaat dichten

  1. Klik bij de vraag op Antwoord invullen of Voorstel bekijken. Het venster toont wat uw chatbot heeft geantwoord.
  2. Vul het juiste antwoord in. Eén of twee zinnen is genoeg, bijvoorbeeld: ‘Op zaterdag zijn we open van 9 tot 13 uur.’
  3. Klik op Opslaan en opnieuw controleren.

Het antwoord wordt als apart tekstitem opgeslagen in uw Kennis, met de vraag als naam. Daarna stelt de AI uw chatbot de vraag meteen opnieuw. Antwoordt hij nu goed, dan verhuist de vraag naar Goed beantwoord. Blijft het antwoord fout, formuleer het dan preciezer en sla opnieuw op. Het item wordt daarbij overschreven, er komt geen tweede bij.

Is een vraag niet belangrijk voor uw bedrijf, klik dan op Niet belangrijk. De vraag telt dan niet meer mee en wordt niet meer gesteld. Onder Verborgen haalt u hem terug met Weer opnemen.

Opslaan wijzigt uw kennis. Teamleden hebben daarvoor het recht nodig om de chatbot te bewerken. De tekst telt mee voor de hoeveelheid kennis van uw pakket.

Berichtentegoed

Elke vraag van de botcheck telt net als een echt gesprek mee voor uw maandelijkse berichtentegoed: één bericht voor de vraag, één voor het antwoord. Premiummodellen tellen meervoudig. Voor de start noemt de pagina het maximum voor de volgende check. Zie hoe berichten worden geteld.

Wordt een antwoord anders beoordeeld dan bij de vorige check, dan stelt de botcheck de vraag een tweede keer. De beoordeling verandert alleen als ook het tweede antwoord zo wordt beoordeeld. Zo kantelt het resultaat niet alleen omdat uw chatbot een antwoord anders heeft geformuleerd. Dit geldt voor hooguit drie vragen per check, die dan dubbel tellen.

De testvragen verschijnen niet in uw gesprekken, niet in Analyse en niet op de pagina Vragen.


Meer hulpmiddelen

Onder de botcheck staan twee hulpmiddelen voor bijzondere gevallen. Beide openen in een eigen weergave, met Terug naar de botcheck gaat u terug.

Rol verbeteren

De rol bepaalt hoe uw chatbot antwoordt: toon, lengte, wat hij wel en niet moet doen. Dit hulpmiddel stelt een betere versie voor en laat zien of die echt beter antwoordt.

  1. Klik op Verbeterde rol voorstellen. De AI leest waar uw chatbot in de botcheck de mist in gaat.
  2. Vergelijk Huidige rol en Voorgestelde rol. Het voorstel kunt u bewerken, een toelichting noemt de wijzigingen.
  3. Kies de vragen (5 nieuwe testvragen genereren of Vragen uit de botcheck gebruiken) en klik op Vergelijking starten. Beide rollen beantwoorden dezelfde vragen, de AI kiest per vraag het beste antwoord.
  4. Antwoordt de nieuwe rol beter, klik dan op Rol toepassen.

De vergelijking stelt elke vraag twee keer en verbruikt dus ook dubbel zoveel berichten. De pagina noemt het aantal voor de start.

Modellen vergelijken

Dit hulpmiddel stelt dezelfde vragen aan twee of drie AI-modellen. Zo ziet u of een sneller model voor uw inhoud volstaat.

  1. Kies 2 tot 3 modellen. Uw huidige model is gemarkeerd.
  2. Kies de vragen en klik op Vergelijking starten.
  3. De tabel toont per model de Kwaliteit en de Mediane latentie, de gebruikelijke antwoordtijd, plus een aanbeveling.
  4. Met Gebruiken voor deze bot zet u uw chatbot over op dat model.
Overstappen naar een model van een andere aanbieder wist alle ingelezen inhoud van de chatbot en leest alle gegevensbronnen opnieuw in. Tot dat klaar is, kan de chatbot geen kennisvragen beantwoorden. De pagina vraagt vooraf om bevestiging. Een wissel binnen dezelfde aanbieder werkt direct.

Limieten

LimietWaarde
Vragen per checkmaximaal 15
Proefperiodemaximaal 3 checks per chatbot per dag
Tijd per vraag40 seconden
Tijd per check90 seconden. Wat dan nog openstaat, staat onder Nog niet gecontroleerd.

Zo haalt u er het meeste uit

  • Eerst de bezoekersvragen: daar liepen echte klanten op vast.
  • Controleer opnieuw na elke grotere wijziging in uw kennis: de vergelijking met de vorige check laat zien of het beter is geworden.
  • Gebruik eigen vragen: vul in wat klanten vaak telefonisch of per e-mail vragen.
  • Pas de rol pas aan als de pagina dat aanraadt: meestal ontbreekt er kennis, geen andere instructie.