Optimizador de conocimientos: Pruebe y mejore su bot

Optimizador de conocimientos

El Optimizador de conocimientos es el centro para mantener la precisión de tu chatbot. En lugar de una sola herramienta, incluye cinco pestañas que abordan cada una una parte diferente de la calidad de las respuestas, desde generar preguntas de prueba hasta extraer lagunas a partir de conversaciones reales de los visitantes, auditar tu base de conocimiento en busca de contradicciones, reescribir el rol del bot y comparar modelos de IA frente a frente.

Elige un chatbot en la parte superior de la página; esa selección se comparte en todas las pestañas. Cada pestaña ejecuta su propio análisis y, cuando corresponde, envía sugerencias de mejora a la Bandeja de optimización compartida para que las revises y apliques.

Las pestañas de un vistazo

Pestaña Optimizar: extraer lagunas de conversaciones reales

La pestaña Optimizar encuentra lo que tu bot realmente no pudo responder, utilizando el historial real de los visitantes en lugar de suposiciones. Recopila preguntas sin respuesta y preguntas recopiladas del período de tiempo seleccionado, las agrupa por tema y genera sugerencias de contenido editables para cubrir cada laguna.

Cómo ejecutarla:

1. Elige un período: Últimos 30 días o Últimos 90 días
2. Haz clic en Analizar
3. La herramienta recopila preguntas sin respuesta, las agrupa por tema, analiza cada grupo y genera un borrador de contenido

Cada ejecución utiliza hasta 10 análisis de IA y no consume mensajes de chat. Los resultados aparecen en la Bandeja de optimización debajo como sugerencias de tipo Laguna de conocimiento. Una sugerencia originada a partir de varias preguntas reales muestra cuántas apariciones representa, para que puedas priorizar primero las lagunas más comunes.

Si el período no tiene preguntas sin respuesta, la pestaña te indica que no hay nada que optimizar en este momento.

Pestaña Auditoría: encontrar problemas en tu base de conocimiento

La pestaña Auditoría revisa el contenido que ya tienes, no lo que falta. Escanea tus orígenes indexados en busca de tres problemas y propone correcciones:

Cómo ejecutarla:

1. Haz clic en Iniciar auditoría
2. La herramienta escanea tu base de conocimiento y luego solicita a un juez de IA que revise los pares sospechosos encontrados
3. Los hallazgos aparecen en una lista de revisión con los extractos afectados lado a lado

Revisa los hallazgos, mantén aquellos sobre los que valga la pena actuar (cada uno tiene una casilla de verificación) y haz clic en Guardar en la bandeja. Cuando es posible una reescritura automática, el hallazgo se marca como Corrección automática disponible y puedes aplicar el texto corregido directamente desde la bandeja. Para orígenes rastreados o sincronizados, la sugerencia solo señala el problema; debes corregirlo en el origen. Si no hay problemas, la auditoría informa que la base de conocimiento está en buen estado.

Pestaña Rol: ajustar el prompt del sistema del bot

La pestaña Rol mejora el rol de tu chatbot (su prompt del sistema). Revisa las preguntas de prueba fallidas y las lagunas de conocimiento conocidas, y luego propone un rol reescrito orientado a obtener mejores respuestas.

Cómo ejecutarla:

1. Haz clic en Proponer rol mejorado
2. Compara el rol actual y el rol propuesto lado a lado; el texto propuesto es editable y una justificación explica qué cambió y por qué
3. Valídalo con una prueba A/B: elige un origen de preguntas (Generar 5 preguntas de prueba nuevas o reutilizar las preguntas de tu última ejecución de prueba) y haz clic en Ejecutar prueba A/B
4. Se formulan las mismas preguntas con ambos roles, un juez de IA elige la mejor respuesta por pregunta y obtienes una tasa de victorias junto con un desglose por pregunta
5. Si el nuevo rol resulta ganador, haz clic en Aplicar rol para activarlo

La prueba A/B formula cada pregunta dos veces (actual frente a propuesto), por lo que una ejecución de 10 preguntas envía unos 20 mensajes de prueba a través de tu cuota mensual, o más si pruebas un modelo prémium, ya que los modelos más potentes cuentan como más de un mensaje. Aplicar el rol requiere el permiso de chatbots.

Pestaña Arena de modelos: comparar modelos de IA

La Arena de modelos ejecuta el mismo conjunto de preguntas en 2–3 modelos de IA en paralelo y los compara en cuanto a calidad de respuesta (puntuada por un juez de IA) y tiempo de respuesta mediano. Utilízala para decidir si un modelo más rápido o más económico mantiene el nivel con tu contenido real.

Cómo ejecutarla:

1. Selecciona 2–3 modelos para comparar (tu modelo actual está marcado)
2. Elige un origen de preguntas (generar preguntas nuevas o reutilizar la última ejecución)
3. Haz clic en Iniciar comparación
4. Revisa la tabla de resultados: porcentaje de calidad, latencia mediana y una recomendación para el mejor equilibrio entre ambos
5. Despliega cualquier pregunta para ver la respuesta real de cada modelo
6. Haz clic en Usar para este bot en un modelo para cambiar a él

Esta pestaña utiliza mensajes de chat de prueba (contabilizados en tu cuota mensual) y aplicar un modelo requiere el permiso de chatbots.

Pestaña Prueba de conocimientos: prueba automática de tu Base de conocimiento

La pestaña Prueba de conocimientos es el probador clásico de conocimientos. Genera de forma automática preguntas de prueba realistas, las ejecuta contra tu chatbot, evalúa las respuestas con IA y te ayuda a corregir cualquier laguna.

Modos de prueba

Auto Test es la mejor opción para una comprobación general del estado de toda tu base de conocimiento. Custom Question resulta ideal para comprobar si un tema específico o el contenido añadido recientemente se responde de forma correcta.

Ejecución de una prueba

1. Elige el modo de prueba: Auto Test o Custom Question
2. Define el número de preguntas (Auto Test) o variantes (Custom Question)
3. Para el modo Custom Question: introduce tu pregunta
4. Haz clic en Start Test

A continuación, el sistema ejecuta tres pasos de forma automática:

Criterios de evaluación

Para los resultados clasificados como Partial y Not Answered, la IA explica qué falta o qué es incorrecto. Utiliza esas recomendaciones para guiar tus correcciones.

Panel de resultados

Una vez finalizada la prueba, cuatro tarjetas muestran un resumen: Answered, Partial, Not Answered y una puntuación general (Score, calculada como respuestas correctas ÷ en total) con una barra de código de colores:

• Verde (80%+): tu base de conocimiento cubre bien los temas evaluados
• Ámbar (50 a 79%): existen algunas lagunas que conviene resolver
• Rojo (menos del 50%): existen lagunas significativas que requieren atención

Cada pregunta evaluada aparece como una tarjeta de resultado con la pregunta, una insignia de evaluación, la respuesta completa del bot, una recomendación (para Partial/Not Answered) y botones de acción: Fix with AI, Try again y Find Source.

Fix with AI

Fix with AI es el método principal para resolver las lagunas detectadas durante las pruebas. Analiza todas las preguntas fallidas, busca contexto en tu base de conocimiento actual y genera contenido para cubrir las carencias.

1. Haz clic en Fix with AI en un resultado Partial o Not Answered (o en el resumen de resultados)
2. El sistema recopila todas las preguntas fallidas y extrae contenido relacionado de tu base de conocimiento
3. La IA redacta un borrador con la información que falta, utilizando datos concretos de tus fuentes cuando están disponibles
4. Revisa y edita el borrador; de forma opcional, define un nombre de documento (si se deja vacío, se genera uno automáticamente)
5. Haz clic en Add as Data Source para guardarlo como una nueva fuente de datos de texto

Tras guardar, el sistema te preguntará si deseas verificar la corrección: Retest all failed, Retest first (una comprobación rápida de una sola pregunta) o Later. El contenido generado aparece en la pestaña Conocimiento de tu chatbot, donde puedes seguir editándolo.

Find Source

Find Source localiza qué fuentes de datos existentes son relevantes para una pregunta, lo cual resulta útil cuando prefieres editar un origen existente en lugar de añadir nuevo contenido.

1. Haz clic en Find Source en una tarjeta de resultado
2. El sistema busca en tu base de conocimiento mediante similitud vectorial (con búsqueda de texto como alternativa de respaldo)
3. Se muestran hasta 10 coincidencias, cada una con el nombre del origen, el tipo, una puntuación de relevancia y una vista previa del contenido de 500 caracteres

Desde allí puedes hacer clic en Editar en una fuente de texto directamente o en Open in Dashboard para saltar a ese origen dentro de la pestaña Conocimiento.

Reintentos e historial

• Try again vuelve a ejecutar una sola pregunta y actualiza su respuesta, la evaluación y la puntuación general en el mismo lugar.
• Retest all failed (tras usar Fix with AI) vuelve a ejecutar en lote todas las preguntas clasificadas como Partial y Not Answered.
• La sección Test History enumera las últimas 20 ejecuciones de prueba por chatbot: puntuación, modo, chatbot y fecha. Haz clic en cualquier entrada para volver a abrir sus resultados completos.

Límites

La Bandeja de optimización

La Bandeja de optimización se encuentra debajo de las pestañas Optimizar y Auditoría, y reúne las sugerencias de mejora de la IA en un solo lugar. Cada sugerencia tiene un tipo (Laguna de conocimiento, Contradicción, Duplicado, Contenido escaso o Propuesta de rol) y un estado:

• Abiertas: en espera de tu decisión
• Aceptadas: aplicadas a tu chatbot
• Descartadas: apartadas (puedes reabrirlas más tarde)

Haz clic en una sugerencia para abrir su vista detallada. Según el tipo, verás las preguntas reales asociadas a una laguna, los fragmentos de origen afectados o una comparación entre el estado actual y el propuesto. Cuando la sugerencia incluya contenido editable, puedes modificarlo antes de aplicarlo. Haz clic en Añadir a la base de conocimientos (o Aplicar reescritura / Aplicar rol, según el tipo) para aplicarla, o en Descartar para omitirla.

Prácticas recomendadas

• Empieza con Optimizar: las conversaciones reales te muestran las lagunas que realmente te están costando respuestas
• Ejecuta una auditoría tras importaciones grandes: detecta contradicciones antes de que los visitantes se encuentren con ellas
• Utiliza Prueba de conocimientos para verificar: tras añadir contenido, confirma que el bot responde de forma correcta
• Realiza pruebas A/B de cambios de rol: no publiques un nuevo prompt basándote en una corazonada; la pestaña Rol demuestra la mejora
• Prueba Arena de modelos antes de cambiar de modelo: asegúrate de que un modelo más rápido siga respondiendo bien con tus datos
• Contrasta los datos con los paneles de Preguntas y Analytics: observa cómo disminuye la métrica de Sin respuesta a medida que resuelves las lagunas