Проверка бота: проверить ответы и закрыть пробелы
Проверка бота
Проверка бота отвечает на один вопрос: правильно ли ваш чат-бот отвечает, когда клиенты его о чем-то спрашивают? ИИ задает ему до 15 вопросов, оценивает каждый ответ и показывает, где бот ошибается. Каждый пробел вы закрываете на той же странице, после этого бот сразу получает вопрос еще раз.
Страница находится в меню в разделе Проверка бота. Выберите чат-бота вверху и нажмите Проверить сейчас.
Какие вопросы задаются
| Источник | Что за этим стоит | Количество |
|---|---|---|
| Типичный вопрос клиента | ИИ читает ваши знания и задает вопросы так, как их формулируют клиенты. Часть из них составляют повседневные вопросы, которых в ваших знаниях может не быть, например о часах работы или ценах. | 6 |
| Спросил посетитель | Вопросы за последние 90 дней, на которые ваш чат-бот не смог ответить реальным посетителям. Если один и тот же вопрос задали несколько человек, рядом указано их число, например Спрашивали посетители: 3. Обрывки вроде «А другой?» ИИ заранее отсеивает. | до 5 |
| Ваш вопрос | Вопросы, которые вы добавляете сами в поле Добавить свой вопрос. | до 4 |
Список сохраняется. Каждая следующая проверка задает те же вопросы, поэтому по результату видно, помогли ли ваши изменения. Новые вопросы посетителей добавляются сами.
Как читать результат
Вверху показано, на сколько вопросов бот ответил правильно, например Правильных ответов: 9 из 12, и результат предыдущей проверки. Ниже идут до четырех списков:
- Что стоит улучшить: каждый вопрос с неверным или неполным ответом и одно предложение о причине. Вопросы реальных посетителей стоят первыми.
- Правильные ответы: нажмите на вопрос, чтобы увидеть ответ вашего чат-бота.
- Ещё не проверено: вопросы, до которых последняя проверка не дошла, например потому что закончилась квота сообщений. Следующая проверка задаст их снова.
- Скрытые: вопросы, которые вы отметили как Неважно.
Три причины
| Причина на странице | Что это значит | Что делать |
|---|---|---|
| В ваших знаниях об этом ничего нет. | Информации нет. Ответ знаете только вы, ИИ ничего не выдумывает. | Ввести ответ |
| Ответ есть в «…», но бот находит его ненадёжно. | Информация есть, но она спрятана слишком глубоко. ИИ подготовил предложение на основе ваших материалов. | Посмотреть предложение, проверить и принять |
| У бота был нужный материал, но он всё равно ответил неправильно. | Новые знания здесь не помогут. Дело в роли, то есть в инструкциях о том, как чат-бот должен отвечать. | Улучшить роль |
Как закрыть пробел
- Нажмите у вопроса Ввести ответ или Посмотреть предложение. В окне показано, что ответил ваш чат-бот.
- Введите правильный ответ. Достаточно одного-двух предложений, например: «По субботам мы работаем с 9 до 13 часов.»
- Нажмите Сохранить и перепроверить.
Ответ сохраняется как отдельная текстовая запись в ваших Знаниях и получает название по вопросу. Затем ИИ сразу задает вопрос вашему чат-боту еще раз. Если теперь он отвечает правильно, вопрос переходит в Правильные ответы. Если ответ все еще неверный, сформулируйте точнее и сохраните снова. Запись при этом перезаписывается, вторая не создается.
Если вопрос неважен для вашего бизнеса, нажмите Неважно. Он больше не учитывается в результате и не задается. В списке Скрытые его можно вернуть кнопкой Вернуть в список.
Квота сообщений
Если ответ оценён иначе, чем при предыдущей проверке, проверка бота задаёт вопрос второй раз. Оценка меняется только тогда, когда и второй ответ оценён так же. Так результат не меняется лишь из-за того, что чат-бот сформулировал ответ по-другому. Это касается не более трёх вопросов за проверку, они учитываются дважды.
Тестовые вопросы не появляются в ваших беседах, в Аналитике и на странице Вопросы.
Другие инструменты
Под проверкой бота есть два инструмента для особых случаев. Каждый открывается на отдельном экране, кнопка Назад к проверке бота возвращает обратно.
Улучшить роль
Роль определяет, как отвечает ваш чат-бот: тон, длину ответа, что ему делать и чего не делать. Этот инструмент предлагает улучшенный вариант и показывает, действительно ли с ним бот отвечает лучше.
- Нажмите Предложить улучшенную роль. ИИ читает, на чем ваш чат-бот ошибается в проверке бота.
- Сравните блоки Текущая роль и Предложенная роль. Предложение можно отредактировать, а пояснение перечисляет изменения.
- Выберите вопросы (Сгенерировать 5 новых тестовых вопросов или Использовать вопросы из проверки бота) и нажмите Запустить сравнение. Обе роли отвечают на одни и те же вопросы, а ИИ выбирает лучший ответ по каждому вопросу.
- Если новая роль отвечает лучше, нажмите Применить роль.
Сравнение задает каждый вопрос дважды и расходует соответствующее число сообщений. Страница показывает это число перед запуском.
Сравнить модели
Этот инструмент задает одни и те же вопросы двум или трем моделям ИИ. Так вы увидите, хватит ли для ваших материалов более быстрой модели.
- Выберите 2 или 3 модели. Ваша текущая модель отмечена.
- Выберите вопросы и нажмите Начать сравнение.
- В таблице для каждой модели указаны Качество и Медианная задержка, то есть обычное время ответа, а также рекомендация.
- Кнопка Использовать для этого бота переводит вашего чат-бота на выбранную модель.
Ограничения
| Ограничение | Значение |
|---|---|
| Вопросов за проверку | не более 15 |
| Пробный период | не более 3 проверок на чат-бота в день |
| Время на вопрос | 40 секунд |
| Время на проверку | 90 секунд. Все, что не успело пройти, попадает в список Ещё не проверено. |
Как получить максимум пользы
- Сначала вопросы посетителей: на них не получили ответа реальные клиенты.
- Запускайте проверку после каждого крупного изменения знаний: сравнение с предыдущей проверкой покажет, стало ли лучше.
- Добавляйте свои вопросы: впишите то, о чем клиенты часто спрашивают по телефону или по почте.
- Меняйте роль, только когда страница это советует: чаще всего не хватает знаний, а не другой инструкции.
