Тестирование сценария Агента
В этой статье описаны шаги тестирования Сценария Агента.
Для того чтобы максимально эффективно протестировать Агента, необходимо выполнить следующие шаги:
Составить максимально полный список вопросов к Агенту. Необходимо продумать, как реальный Собеседник будет формулировать вопросы, и постараться предусмотреть большинство из них. Также в список вопросов необходимо включить фразы, которые Агент не должен распознавать и должен отправлять в Fallback.
Прогнать список вопросов через Агента, проверить распознавание интентов и подсчитать процент правильных ответов Агента. Если фраза не распознается (попадает в Fallback) или попадает не в тот интент, в который должна, вписываем ее и указываем название интента, куда она должна была попасть. После того как все интенты будут проверены, нужно занести выписанные фразы в соответствующие интенты и переобучить Агента. Если нерелевантные фразы, которые Агент не должен распознавать, попадают не в Fallback, а в интенты, после завершения регрессионного тестирования следует попробовать подобрать более оптимальное значение Confidence Threshold. Подробнее в разделе Подбор оптимального значения Confidence Threshold.
После переобучения Агента снова пройтись по списку интентов и проверить каждый. Вновь подсчитать процент правильных ответов. Если интенты продолжают путаться, проверяем выборку. Если фразы в выборках разных интентов слишком похожи, нужно либо сделать выборки этих интентов более отличными друг от друга (убрать похожие формулировки, добавить больше отличающихся фраз), либо объединить путающиеся интенты в один.
Если в Диалоговом Сценарии задействованы словари, работа словарей проверяется следующим образом: нужно задать вопросы с целью попасть в конкретную ветку – одно из разветвлений с референсом либо ветка true. Если фраза попадает не в ту ветку, в которую должна, то идем в словари и проверяем, есть ли использованное в фразе слово в выборке словаря. Если нет – добавляем, если есть – проверяем, нет ли этого же слова в массивах под другими референсами (слова не должны повторяться в массивах с разными референсами).
После сохранения изменений в словарях еще раз пройтись по всем веткам и, в случае непопадания в нужную ветку, добавить недостающие слова в массивы словаря.
Также необходимо проверить работу всего функционала. Особое внимание стоит уделить слотам со сложным функционалом – Regexp, Memory.
Проверить скорость перевода на оператора, если такой переход предусмотрен.
Проверить работу внешних запросов и скорость интеграции с внешними сервисами, если они предусмотрены.
Провести тест в каждом задействованном Канале: мессенджеры, виджет и пр.
Проверить орфографию, пунктуацию и грамматику.
Важно!
Не забывайте переобучать Бота после изменений, иначе обновления не вступят в силу.
Last updated