Optimiseur de connaissances : testez et améliorez votre bot
Optimiseur de connaissances
L'Optimiseur de connaissances est le centre névralgique pour maintenir la précision de votre chatbot. Au lieu d'un seul outil, il regroupe cinq onglets qui traitent chacun un aspect différent de la qualité des réponses, de la génération de questions de test à l'extraction des lacunes à partir des conversations réelles des visiteurs, en passant par l'audit de votre base de connaissances pour détecter les contradictions, la réécriture du rôle du bot et la comparaison directe de modèles IA.
Sélectionnez un chatbot en haut de la page ; ce choix est partagé entre tous les onglets. Chaque onglet exécute sa propre analyse et, le cas échéant, dépose des suggestions d'amélioration dans la Boîte d'optimisation partagée afin que vous puissiez les vérifier et les appliquer.
Aperçu des onglets
| Onglet | Ce qu'il fait | Impact sur votre quota |
|---|---|---|
| Test de connaissances | Génère automatiquement des questions de test, les soumet à votre bot et évalue les réponses par IA. | Oui (messages de chat) |
| Optimiser | Extrait les lacunes de connaissances à partir des conversations passées réelles et des questions restées sans réponse. | Non |
| Rôle | Propose un prompt système amélioré et le valide à l'aide d'un test A/B. | Test A/B uniquement |
| Arène de modèles | Exécute les mêmes questions sur 2 à 3 modèles IA et compare la qualité par rapport à la vitesse. | Oui (messages de chat) |
| Audit | Analyse la base de connaissances pour détecter les doublons, les contradictions et le contenu mince. | Non |
Onglet Optimiser : extraire les lacunes à partir des conversations réelles
L'onglet Optimiser identifie ce que votre bot n'a réellement pas réussi à répondre, en s'appuyant sur l'historique réel des visiteurs plutôt que sur des suppositions. Il récupère les questions sans réponse et collectées au cours de la période sélectionnée, les regroupe par sujet et génère des suggestions de contenu modifiables pour combler chaque lacune.
Comment l'exécuter :
- Choisissez une période : 30 derniers jours ou 90 derniers jours
- Cliquez sur Analyser
- L'outil collecte les questions sans réponse, les regroupe par sujet, puis analyse chaque groupe et rédige un brouillon de contenu
Chaque exécution utilise jusqu'à 10 analyses IA et ne consomme aucun message de chat. Les résultats arrivent dans la Boîte d'optimisation ci-dessous sous forme de suggestions de type Lacune de connaissances. Une suggestion issue de plusieurs questions réelles indique le nombre d'occurrences qu'elle représente, ce qui vous permet de traiter en priorité les lacunes les plus fréquentes.
Si la période sélectionnée ne comporte aucune question sans réponse, l'onglet vous indique qu'il n'y a rien à optimiser pour le moment.
Onglet Audit : détecter les problèmes dans votre base de connaissances
L'onglet Audit vérifie le contenu que vous possédez déjà, et non ce qui manque. Il analyse vos sources indexées pour identifier trois problèmes et proposer des correctifs :
| Résultat | Pourquoi c'est important |
|---|---|
| Contradiction | Deux sources affirment des choses différentes, le bot risque de répondre différemment à la même question à chaque fois. C'est le cas le plus dangereux. |
| Doublon | Des segments presque identiques qui ajoutent du bruit sans apporter d'information. |
| Contenu mince | Une source comportant trop peu de caractères pour produire des réponses utiles. |
Comment l'exécuter :
- Cliquez sur Lancer l'audit
- L'outil analyse votre base de connaissances, puis demande à un juge IA de vérifier les paires suspectes trouvées
- Les résultats apparaissent dans une liste de vérification présentant les extraits concernés côte à côte
Passez en revue les résultats, conservez ceux qui méritent une action (chacun dispose d'une case à cocher), puis cliquez sur Enregistrer dans la boîte de réception. Lorsqu'une réécriture automatique est possible, le résultat porte la mention Correction automatique disponible et vous pouvez appliquer le texte corrigé directement depuis la boîte d'optimisation. Pour les sources explorées ou synchronisées, la suggestion signale uniquement le problème, la correction doit se faire à la source d'origine. Si aucune anomalie n'est détectée, l'audit indique que la base de connaissances est saine.
Onglet Rôle : ajuster le prompt système du bot
L'onglet Rôle améliore le rôle de votre chatbot (son prompt système). Il examine les questions de test ayant échoué ainsi que les lacunes de connaissances connues, puis propose un rôle réécrit visant à obtenir de meilleures réponses.
Comment l'exécuter :
- Cliquez sur Proposer un rôle amélioré
- Comparez le rôle actuel et le rôle proposé côte à côte, le texte proposé est modifiable, et une explication détaille les changements apportés et leur raison d'être
- Validez-le avec un test A/B : choisissez une source de questions (Générer 5 nouvelles questions de test ou réutiliser les questions de votre dernier test) et cliquez sur Lancer le test A/B
- Les mêmes questions sont posées avec les deux rôles, un juge IA choisit la meilleure réponse pour chaque question, et vous obtenez un taux de réussite ainsi qu'un détail question par question
- Si le nouveau rôle l'emporte, cliquez sur Appliquer le rôle pour le mettre en production
Le test A/B pose chaque question deux fois (actuel contre proposé), une série de 10 questions envoie donc environ 20 messages de test décomptés de votre quota mensuel, voire plus si vous testez un modèle supérieur, car les modèles plus puissants comptent pour plusieurs messages. L'application du rôle nécessite l'autorisation chatbots.
Onglet Arène de modèles : comparer les modèles IA
L'Arène de modèles exécute le même ensemble de questions sur 2 à 3 modèles IA en parallèle et les compare sur la qualité des réponses (évaluée par un juge IA) et le temps de réponse médian. Utilisez cet outil pour déterminer si un modèle plus rapide ou plus économique reste performant sur votre contenu réel.
Comment l'exécuter :
- Sélectionnez 2–3 modèles à comparer (votre modèle actuel est indiqué)
- Choisissez une source de questions (générer de nouvelles questions ou réutiliser le dernier test)
- Cliquez sur Lancer la comparaison
- Consultez le tableau des résultats, pourcentage de qualité, latence médiane et recommandation pour le meilleur équilibre entre les deux
- Dépliez n'importe quelle question pour voir la réponse exacte fournie par chaque modèle
- Cliquez sur Utiliser pour ce bot sur un modèle pour basculer vers celui-ci
Cet onglet utilise des messages de chat de test (décomptés de votre quota mensuel) et l'application d'un modèle nécessite l'autorisation chatbots.
Onglet Test de connaissances, testez automatiquement votre base de connaissances
L'onglet Test de connaissances correspond au Knowledge Tester classique. Il génère automatiquement des questions de test réalistes, les soumet à votre chatbot, évalue les réponses à l'aide de l'IA et vous aide à combler les lacunes éventuelles.
Modes de test
| Mode | Description | Questions |
|---|---|---|
| Auto Test | L'IA génère des questions de test directement à partir du contenu de votre base de connaissances. Les questions couvrent différents sujets et niveaux de difficulté, avec un mélange de formulations courtes (3 à 5 mots) et plus longues. | 3 à 15 questions |
| Custom Question | Saisissez une question précise que vous souhaitez tester. L'IA génère d'autres formulations (variantes) pour tester le même sujet sous différents angles. | Votre question + 2 à 14 variantes |
Auto Test convient particulièrement pour un bilan de santé global de l'ensemble de votre base de connaissances. Custom Question est idéal pour vérifier si un sujet spécifique ou du contenu récemment ajouté reçoit une réponse correcte.
Lancer un test
- Choisissez le mode de test : Auto Test ou Custom Question
- Définissez le nombre de questions (Auto Test) ou de variantes (Custom Question)
- Pour le mode Custom Question : saisissez votre question
- Cliquez sur Start Test
Le système exécute ensuite trois étapes automatiquement :
| Étape | Ce qui se passe |
|---|---|
| Générer | L'IA crée des questions de test (Auto Test) ou des variantes de questions (Custom Question). |
| Run | Chaque question est envoyée à votre chatbot ; la réponse et les éventuelles références aux sources sont collectées. |
| Évaluer | L'IA évalue chaque réponse par rapport au contenu de votre base de connaissances et la classe. |
Critères d'évaluation
| Classification | Description |
|---|---|
| Réponse | Correcte, utile et couvre l'essentiel de la question. De légères omissions sur des cas particuliers sont acceptées. |
| Partielle | Pertinente sur le plan thématique mais omet des informations essentielles qu'un utilisateur attendrait. |
| Pas de réponse | Aucune réponse, complètement hors sujet ou fondamentalement incorrecte. |
Pour les résultats Partielle et Pas de réponse, l'IA explique ce qui manque ou ce qui est incorrect. Appuyez-vous sur ces recommandations pour orienter vos corrections.
Tableau de bord des résultats
Une fois le test terminé, quatre cartes le résument : Réponse, Partielle, Pas de réponse, ainsi qu'un Score global (réponses ÷ total) avec une barre de code couleur :
- Vert (80 % et plus), votre base de connaissances couvre bien les sujets testés
- Orange (50 à 79 %), quelques lacunes à corriger
- Rouge (moins de 50 %), des lacunes importantes nécessitent votre attention
Chaque question testée apparaît sous forme de carte de résultat avec la question, un badge d'évaluation, la réponse complète du bot, une recommandation (pour Partielle/Pas de réponse) et des boutons d'action : Fix with AI, Réessayer et Find Source.
Fix with AI
Fix with AI est le moyen principal de corriger les lacunes identifiées lors des tests. Il analyse toutes les questions en échec, recherche du contexte dans votre base de connaissances existante et génère du contenu pour combler les manques.
- Cliquez sur Fix with AI sur un résultat Partielle ou Pas de réponse (ou sur le résumé des résultats)
- Le système rassemble toutes les questions en échec et extrait le contenu associé de votre base de connaissances
- L'IA rédige un texte couvrant les informations manquantes, en utilisant des données concrètes de vos sources lorsque c'est possible
- Vérifiez et modifiez le brouillon ; vous pouvez facultativement renseigner un nom de document (laissé vide, un nom est généré automatiquement)
- Cliquez sur Add as Data Source pour l'enregistrer comme nouvelle source de données texte
Après l'enregistrement, vous êtes invité à vérifier la correction : Retest all failed, Retest first (une vérification rapide sur une seule question) ou Later. Le contenu généré apparaît dans l'onglet Connaissances de votre chatbot, où il reste modifiable.
Find Source
Find Source identifie les sources de données existantes pertinentes pour une question, ce qui est utile si vous préférez modifier une source existante plutôt qu'ajouter du nouveau contenu.
- Cliquez sur Find Source sur une carte de résultat
- Le système recherche dans votre base de connaissances à l'aide de la similarité vectorielle (avec une recherche textuelle en recours)
- Jusqu'à 10 correspondances sont affichées, chacune avec le nom de la source, son type, un score de pertinence et un aperçu du contenu de 500 caractères
À partir de là, vous pouvez Modifier directement une source texte ou cliquer sur Open in Dashboard pour accéder à cette source dans l'onglet Connaissances.
Nouvel essai et historique
- Réessayer relance une question unique et met à jour sa réponse, son évaluation et le score global directement sur place.
- Retest all failed (après Fix with AI) relance l'ensemble des questions Partielle et Pas de réponse en une seule fois.
- La section Test History répertorie vos 20 dernières sessions de test par chatbot : score, mode, chatbot et date. Cliquez sur une entrée pour rouvrir ses résultats complets.
Limites
| Contrainte | Valeur |
|---|---|
| Utilisateurs en version d'essai | 3 tests maximum par chatbot et par jour |
| Génération de corrections | 20 requêtes maximum par heure et par utilisateur |
| Délai d'expiration par question | 30 secondes par question |
| Délai d'expiration global du test | 120 secondes par session de test |
| Questions en Auto Test | 3 à 15 |
| Variantes en Custom Question | 2 à 14 (en plus de votre question d'origine) |
| Historique des tests | 20 dernières sessions conservées |
La Boîte d'optimisation
La Boîte d'optimisation se situe sous les onglets Optimiser et Audit et rassemble les suggestions d'amélioration de l'IA en un seul endroit. Chaque suggestion a un type, Lacune de connaissances, Contradiction, Doublon, Contenu mince ou Proposition de rôle, ainsi qu'un statut :
- Ouvertes, en attente de votre décision
- Acceptées, appliquées à votre chatbot
- Écartées, mises de côté (vous pouvez les rouvrir plus tard)
Cliquez sur une suggestion pour ouvrir sa vue détaillée. Selon le type, vous verrez les vraies questions à l'origine d'une lacune, les extraits de sources concernés ou une comparaison entre la version actuelle et celle proposée. Lorsque la suggestion contient du contenu modifiable, vous pouvez l'ajuster avant de l'appliquer. Cliquez sur Ajouter à la base de connaissances (ou Appliquer la réécriture / Appliquer le rôle, selon le type) pour l'appliquer, ou sur Écarter pour l'ignorer.
Bonnes pratiques
- Commencez par Optimiser, les conversations réelles vous montrent les lacunes qui vous coûtent concrètement des réponses
- Lancez un audit après des imports volumineux, repérez les contradictions avant que les visiteurs n'y soient confrontés
- Utilisez Test de connaissances pour vérifier, après avoir ajouté du contenu, confirmez que le bot répond désormais correctement
- Faites des tests A/B sur les changements de rôle, ne déployez pas un nouveau prompt sur une simple intuition ; l'onglet Rôle prouve le gain obtenu
- Testez l'Arène de modèles avant de changer de modèle, assurez-vous qu'un modèle plus rapide répond toujours bien sur vos données
- Croisez les informations avec les tableaux de bord Questions et Analytics, observez la baisse de la métrique Sans réponse à mesure que vous comblez les lacunes
