chatme.ai
Search…
Создание Агента на платформе
ДЛЯ РАЗРАБОТЧИКОВ
Тестирование и улучшение распознавания Агента: подбор Confidence threshold
В этой статье описан процесс подбора наиболее оптимального значения Confidence Threshold для наилучшего распознавания Агентом естественной речи.
Подобрать наиболее оптимальное значение Confidence Threshold можно следующим образом:
  1. 1.
    Если релевантные запросы распознаются верно и попадают в нужные интенты, а нерелевантные запросы попадают не в Fallback, а в интенты:
    • Повысить заданное значение Confidence Threshold.
    • Переобучить Агента и вновь протестировать с тем же списком вопросов.
  2. 2.
    Если релевантные запросы не распознаются и попадают в Fallback, как и нерелевантные запросы:
    • Понизить заданное значение Confidence Threshold.
    • Переобучить Агента и вновь протестировать с тем же списком вопросов.
  3. 3.
    Если после проделанных шагов результат все еще неудовлетворителен, необходимо поработать с выборкой и списком интентов: Рекомендации по наполнению выборки Агента
  4. 4.
    Если процесс зацикливается и оптимальное значение Confidence Threshold найдено, процесс завершается.
Copy link