Оптимизатор знаний: Тестируйте и улучшайте вашего бота

Knowledge Optimizer

Оптимизатор знаний, это единый центр для поддержания точности вашего чат-бота. Вместо одного инструмента он объединяет пять вкладок, каждая из которых отвечает за отдельный аспект качества ответов, от генерации тестовых вопросов до поиска пробелов в реальных беседах с посетителями, аудита базы знаний на предмет противоречий, изменения роли бота и прямого сравнения моделей ИИ.

Выберите чат-бота в верхней части страницы, этот выбор применится ко всем вкладкам. Каждая вкладка выполняет собственный анализ и при необходимости отправляет предложения по улучшению в общие Входящие оптимизации, где вы можете их просмотреть и применить.

Краткий обзор вкладок

Вкладка Оптимизация: поиск пробелов в реальных беседах

Вкладка Оптимизация находит темы, на которые бот действительно не смог ответить, опираясь на реальную историю общения с посетителями, а не на догадки. Она собирает неотвеченные и сохраненные вопросы за выбранный период времени, группирует их по темам и создает готовые к редактированию предложения контента для закрытия каждого пробела.

Как запустить:

1. Выберите период: Последние 30 дней или Последние 90 дней
2. Нажмите Анализировать
3. Инструмент соберет вопросы без ответа, сгруппирует их по темам, проанализирует каждую группу и подготовит черновик контента

Каждый запуск выполняет до 10 сеансов анализа ИИ и не расходует сообщения чата. Результаты попадают во Входящие оптимизации ниже в виде предложений типа Пробел в знаниях. Если предложение сформировано на основе нескольких реальных вопросов, в нем указывается количество таких случаев, что позволяет в первую очередь устранять самые частые пробелы.

Если за выбранный период вопросов без ответа не было, на вкладке появится сообщение о том, что оптимизировать пока нечего.

Вкладка Аудит: поиск проблем в базе знаний

Вкладка Аудит проверяет уже имеющийся контент, а не ищет недостающий. Она сканирует проиндексированные источники на наличие трех типов проблем и предлагает варианты их устранения:

Как запустить:

1. Нажмите Запустить аудит
2. Инструмент просканирует базу знаний, после чего судья на базе ИИ проверит найденные подозрительные пары
3. Результаты отобразятся в списке для проверки, где проблемные фрагменты показаны рядом друг с другом

Просмотрите результаты, выберите чекбоксами нужные пункты и нажмите Сохранить во входящие. Если возможно автоматическое исправление, пункт помечается меткой Доступно автоисправление, и вы можете применить исправленный текст прямо из папки входящих. Для источников, полученных через краулер или синхронизацию, предложение только указывает на проблему, исправлять ее нужно в самом источнике. Если проблем не обнаружено, аудит подтвердит корректное состояние базы знаний.

Вкладка Роль: настройка системного промпта бота

Вкладка Роль помогает улучшить роль чат-бота (его системный промпт). Она анализирует неудачные тестовые вопросы и известные пробелы в знаниях, после чего предлагает переработанный вариант роли для повышения качества ответов.

Как запустить:

1. Нажмите Предложить улучшенную роль
2. Сравните роли: текущая и предложенная будут показаны рядом друг с другом. Предложенный текст можно редактировать, а в обосновании поясняется, что именно изменилось и почему
3. Проверьте результат с помощью A/B-теста: выберите источник вопросов (Сгенерировать 5 новых тестовых вопросов или использовать вопросы из последнего теста) и нажмите Запустить A/B-тест
4. Одни и те же вопросы будут заданы боту с обеими ролями, судья на базе ИИ выберет лучший ответ для каждого вопроса, после чего вы получите процент побед и детальный отчет по каждому вопросу
5. Если новая роль показала лучший результат, нажмите Применить роль, чтобы сохранить изменения

При A/B-тесте каждый вопрос задается дважды (для текущей и предложенной роли), поэтому проверка из 10 вопросов спишет около 20 тестовых сообщений из вашей ежемесячной квоты. При использовании премиум-модели расход будет выше, так как более мощные модели могут оцениваться дороже одного сообщения. Для применения роли требуется право доступа чат-боты.

Вкладка Арена моделей: сравнение моделей ИИ

Арена моделей задает один и тот же набор вопросов 2–3 моделям ИИ параллельно и сравнивает их по качеству ответов (оценивается судьей на базе ИИ) и медианному времени ответа. С ее помощью можно определить, подойдет ли более быстрая или экономичная модель для работы с вашим реальным контентом.

Как запустить:

1. Выберите 2–3 модели для сравнения (ваша текущая модель будет отмечена)
2. Выберите источник вопросов (сгенерировать новые вопросы или повторить предыдущий тест)
3. Нажмите Начать сравнение
4. Ознакомьтесь с таблицей результатов, где показаны процент качества, медианная задержка и рекомендация по оптимальному балансу этих параметров
5. Разверните любой вопрос, чтобы увидеть ответы каждой модели
6. Нажмите Использовать для этого бота у выбранной модели для переключения на нее

Эта вкладка использует тестовые сообщения чата (расходующие вашу ежемесячную квоту), а для смены модели требуется право доступа чат-боты.

Вкладка Knowledge Test: автоматическое тестирование вашей базы знаний

Вкладка Тест знаний представляет собой классический Тестер базы знаний. Она автоматически создает реалистичные тестовые вопросы, запускает их для проверки вашего чат-бота, оценивает ответы с помощью ИИ и помогает устранить найденные пробелы.

Режимы тестирования

Режим Auto Test лучше всего подходит для комплексной проверки общего состояния всей базы знаний. Режим Custom Question идеально подходит для проверки того, правильно ли бот отвечает на конкретную тему или недавно добавленный контент.

Запуск теста

1. Выберите режим тестирования: Auto Test или Custom Question
2. Задайте количество вопросов (Auto Test) или вариантов (Custom Question)
3. Для режима Custom Question: введите ваш вопрос
4. Нажмите Start Test

После этого система автоматически выполняет три шага:

Критерии оценки

Для результатов Partial и Not Answered ИИ объясняет, чего именно не хватает или что указано с ошибкой. Используйте эти рекомендации при внесении исправлений.

Панель результатов

После завершения теста четыре карточки отображают сводку: Отвечено, Partial, Not Answered и общий балл Score (отвечено ÷ всего) с цветовой шкалой:

• Зеленый (80%+) — база знаний хорошо покрывает протестированные темы
• Желтый (50–79%) — есть пробелы, которые нужно устранить
• Красный (ниже 50%) — обнаружены существенные пробелы, требующие внимания

Каждый проверенный вопрос отображается в виде карточки результата с текстом вопроса, значком оценки, полным ответом бота, рекомендацией (для Partial/Not Answered) и кнопками действий: Fix with AI, Повторить и Find Source.

Fix with AI

Функция Fix with AI является основным способом закрытия пробелов, обнаруженных во время тестирования. Она анализирует все неотвеченные вопросы, ищет контекст в вашей существующей базе знаний и генерирует контент для устранения пробелов.

1. Нажмите Fix with AI на карточке результата со статусом Partial или Not Answered (либо в общей сводке результатов)
2. Система соберет все вопросы с ошибками и извлечет связанный контент из вашей базы знаний
3. ИИ подготовит проект текста с недостающей информацией, используя конкретные данные из ваших источников, если они доступны
4. Проверьте и отредактируйте черновик; при желании укажите название документа (если оставить поле пустым, название будет сгенерировано автоматически)
5. Нажмите Add as Data Source, чтобы сохранить материал как новый текстовый источник данных

После сохранения вам будет предложено проверить исправление: Retest all failed, Retest first (быстрая проверка одного вопроса) или Later. Созданный контент появится во вкладке Знания вашего чат-бота, где его можно редактировать в любое время.

Find Source

Функция Find Source определяет, какие существующие источники данных относятся к вопросу, что удобно, если вы предпочитаете отредактировать имеющийся источник вместо добавления нового контента.

1. Нажмите Find Source на карточке результата
2. Система выполнит поиск по вашей базе знаний с использованием векторного сходства (и текстового поиска в качестве резервного варианта)
3. Отобразится до 10 совпадений, каждое с названием источника, типом, оценкой релевантности и предварительным просмотром первых 500 символов

Оттуда вы можете нажать Edit, чтобы сразу отредактировать текстовый источник, или Open in Dashboard, чтобы перейти к этому источнику во вкладке Знания.

Повторные попытки и история

• Кнопка Повторить повторно запускает один вопрос и сразу обновляет его ответ, оценку и общий балл.
• Кнопка Retest all failed (после выполнения Fix with AI) повторно запускает сразу все вопросы со статусами Partial и Not Answered.
• В разделе Test History отображаются последние 20 запусков тестов для каждого чат-бота: балл, режим, чат-бот и дата. Нажмите на любую запись, чтобы снова открыть ее полные результаты.

Ограничения

Входящие оптимизации

Раздел Входящие оптимизации расположен под вкладками Оптимизация и Аудит и собирает все предложения ИИ по улучшению в одном месте. Каждое предложение имеет тип (Пробел в знаниях, Противоречие, Дубликат, Скудный контент или Предложение роли) и статус:

• Открытые — ожидает вашего решения
• Принятые — применено к вашему чат-боту
• Dismissed — отклонено (вы можете открыть его заново позже)

Нажмите на предложение, чтобы открыть подробный просмотр. В зависимости от типа вы увидите реальные вопросы, вызвавшие пробел, фрагменты затронутых источников или сравнение текущей версии с предложенной. Если предложение содержит редактируемый контент, вы можете изменить его перед применением. Нажмите Добавить в базу знаний (или Применить переработку / Применить роль, в зависимости от типа), чтобы применить его, либо Отклонить, чтобы пропустить.

Рекомендации

• Начинайте с вкладки Оптимизация — реальные диалоги наглядно показывают пробелы, из-за которых бот не может ответить пользователям
• Запускайте Аудит после масштабного импорта данных — находите противоречия до того, как с ними столкнутся посетители
• Используйте Тест знаний для проверки — после добавления контента убедитесь, что бот теперь отвечает правильно
• Проводите A/B-тестирование изменений роли — не внедряйте новый системный промпт наугад, вкладка Роль наглядно покажет результат
• Тестируйте варианты в Арене моделей перед переключением моделей — убедитесь, что более быстрая модель по-прежнему качественно отвечает на ваших данных
• Сверяйтесь с отчетами на панелях Вопросы и Аналитика — следите за тем, как показатель Без ответа снижается по мере устранения пробелов