Тестирование и улучшение распознавания Агента: подбор Confidence threshold
В этой статье описан процесс подбора наиболее оптимального значения Confidence Threshold для наилучшего распознавания Агентом естественной речи.
Подобрать наиболее оптимальное значение Confidence Threshold можно следующим образом:
Если релевантные запросы распознаются верно и попадают в нужные интенты, а нерелевантные запросы попадают не в Fallback, а в интенты:
Повысить заданное значение Confidence Threshold.
Переобучить Агента и вновь протестировать с тем же списком вопросов.
Если релевантные запросы не распознаются и попадают в Fallback, как и нерелевантные запросы:
Понизить заданное значение Confidence Threshold.
Переобучить Агента и вновь протестировать с тем же списком вопросов.
Если после проделанных шагов результат все еще неудовлетворителен, необходимо поработать с выборкой и списком интентов: Рекомендации по наполнению выборки Агента
Если процесс зацикливается и оптимальное значение Confidence Threshold найдено, процесс завершается.
Last updated