Тестирование и улучшение распознавания Агента: подбор Confidence threshold
В этой статье описан процесс подбора наиболее оптимального значения Confidence Threshold для наилучшего распознавания Агентом естественной речи.
Подобрать наиболее оптимальное значение Confidence Threshold можно следующим образом:
- 1.Если релевантные запросы распознаются верно и попадают в нужные интенты, а нерелевантные запросы попадают не в Fallback, а в интенты:
- Повысить заданное значение Confidence Threshold.
- Переобучить Агента и вновь протестировать с тем же списком вопросов.
- 2.Если релевантные запросы не распознаются и попадают в Fallback, как и нерелевантные запросы:
- Понизить заданное значение Confidence Threshold.
- Переобучить Агента и вновь протестировать с тем же списком вопросов.
- 3.Если после проделанных шагов результат все еще неудовлетворителен, необходимо порабо тать с выборкой и списком интентов: Рекомендации по наполнению выборки Агента
- 4.Если процесс зацикливается и оптимальное значение Confidence Threshold найдено, процесс завершается.