Требования для успешного обучения Агента

В этой статье описаны требования, которые необходимо соблюсти при создании Сценария Агента, чтобы он успешно обучился.

Валидация Сценария Агента
Валидация сценария — это проверка при обучении  Агента на то, что все требования системы к Агенту удовлетворены.
Обучить Агента можно двумя способами:
1.Нажать кнопку Train, расположенную в правом верхнем углу БотБилдера во вкладке AgentDesigner.
​
2.Нажать кнопку на карточке Агента.
​
По нажатию кнопки Train происходит:
1.Непосредственно Валидация сценария. Процесс валидации может занять некоторое время, до 10 минут на больших агентах (3000+ слотов)
2.При успешном прохождении валидации создается обученная модель Агента на основе валидного сценария.

В это время кнопка Train будет неактивна.
Если Сценарий не соответствует требованиям, то валидация завершится неудачно и в правом нижнем углу появится текст ошибки.
Важно: Если данный сценарий ранее уже обучался, а после внесения изменений валидация сценария завершилась неудачно, то работать будет старая обученная модель агента
Требования к агенту для успешной валидации
Для того, чтобы валидация была пройдена успешно, сценарий должен удовлетворять правилам:
1.В Сценарии не должно быть веток без блокирующих слотов;
2.В Сценарии все ветки должны быть закрыты;
3.В обучающей выборке каждого интента должно быть минимум две строки;
4.Каждая строка обучающей выборки интента должна содержать не меньше одной буквы;
5.Название пользовательских контекстных переменных должно соответствовать правилам Требования к названию пользовательской переменной;
6.Содержимое подслота result слота Regular Expression должно соответствовать правилам синтаксиса;
7.Выражение в подслоте condition слота Transition Rule должно соответствовать правилам синтаксиса;
8.В слотах не происходит попытки перезаписи системных контекстных переменных, запрещенных для перезаписи;
9.В Слоте Notification используется существующий Канал Агента.
Возможные ошибки построения сценария и их обозначение в Дереве
1. Отсутствие блокирующих слотов в ветках сценария
Блокирующий слот — слот, по которому Агент встает в ожидание входящего сообщения из Канал Агента, это может быть сообщение Собеседника или нажатие кнопки.
В каждой ветке сценария должен присутствовать хотя бы один блокирующий слот, т.к. при наличии ветки сценария без блокирующего слота Агент может войти в постоянную цикличную работу (бесконечное количество раз будет проходить по всем слотам из этой ветки сценария).
Список блокирующих слотов:
Wait For Reaction 
Button Menu 
Change Chat Mode 
Incoming request
Важно: блокирующий слот не обязан находиться в конце ветки сценария, он может присутствовать в любом месте ветки сценария.
Если в ветке сценария не будет ни одного блокирующего слота из списка, то при обучении агента появится следующая ошибка:
 

Уведомление об ошибке будет содержать текст: Blocking slot types (BUTTON_MENU, CHANGE_CHAT_MODE, INCOMING_REQUEST, WAIT_FOR_REACTION) was not found in paths: *Slot ID* -> *Slot ID*”, где *Slot ID* -> *Slot ID* — это путь от корневого слота до слота, которым заканчивается невалидная ветка сценария.
Подсветка ошибки и всплывающая подсказка
​
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка ветки
Подсвечивается вся ветка сценария, в которой не хватает блокирующего слота. При добавлении слота в проблемную ветку новый слот в дереве затемняется и никак не выделен цветом.
Blocking slot types (Button menu, Change chat mode, Incoming request, Wait for reaction) were not found in the branch: *Slot ID* -> *Slot ID*”
What to do: add blocking slots to the branch.
​
2. Не закрытые ветки сценария
На концах веток Сценария могут находиться только следующие слоты:
Wait for reaction
Jump
Change chat mode
Text (при наличии блокирующих слотов в этой ветке)
Attachment (при наличии блокирующих слотов в этой ветке)
Memory (при наличии блокирующих слотов в этой ветке)
ER (при наличии блокирующих слотов в этой ветке)
Slot filling (при наличии блокирующих слотов в этой ветке)
На конце ветки не могут находиться:
 Слоты, которые стартуют сценарий (Start, Incoming request, Timer), т.к. эти слоты играют роль начала сценария, следовательно, после них должны происходить какие-либо действия Агента; 
Слоты, являющиеся комплексными (NLU + intent + fallback, Button menu + button + fallback, Transition rule + condition, Regular expression + result), т.к. эти слоты предназначены для разветвления сценария по определенным условиям, и после разветвления обязательно должны происходить какие-либо действия Агента.
Если в Сценарии есть ветки, на конце которых находятся любые слоты и подслоты не из списка, то при обучении Агента появится следующая ошибка:
​
Уведомление об ошибке будет содержать текст: “Slot with invalid children found: *Slot ID*...“, где *Slot ID* — это номер слота в Сценарии.
Подсветка ошибки и всплывающая подсказка
​
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота с последующей кнопкой добавления нового слота
Подсвечивается слот, после которого необходимо продолжить сценарий, кнопка добавления слота и соединительная линия между ними.
Slot of this type can’t be the last one in the branch.
What to do: add subsequent branch or at least any of these slots: Wait for reaction, Change chat mode, Jump.
3. Недостаточное количество фраз в обучающей выборке
Обучающую выборку для успешного распознавания следует наполнять по правилам, описанным в статье Рекомендации по наполнению выборки Агента. В обучающей выборке Интента должно быть минимум две строки. 
​
Если в выборке будет всего одна строка, то при обучении Агента появится следующая ошибка:

Уведомление об ошибке будет содержать текст: “NLU slots or Intents has errors: The number of train examples of intent "intent" is not enough, it should be at least 2.”, где в кавычках уточняется имя проблемного Интента.
Подсветка ошибки и всплывающая подсказка
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается проблемный под-слот intent с недостаточным количеством фраз в обучающей выборке.
The number of requests of the intent ‘название интента’ is not enough, it should be at least 2.
What to do: add some requests to the intent.
4. Недостаточное количество букв во фразе обучающей выборки
Строка обучающей выборки не может содержать меньше одной буквы.

Если строка обучающей выборки Интента не содержит в себе хотя бы один буквенный символ, то при валидации сценария вы получите следующую ошибку:
​
Подсветка ошибки и всплывающая подсказка
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается проблемный под-слот intent с недостаточным количеством букв во фразе обучающей выборки.
The number of letters in the request "..." of this intent is not enough, it should be at least 1.
What to do: edit the request so that it contains at least 1 letter.
5. Синтаксис в подслоте result слота Regular Expression
Символы ‘ и \ в подслоте result слота Regular Expression должны быть экранированы: им должен предшествовать символ \, в противном случае Агент не обучится.

При отстуствии экранирования символа \ в подслоте result появится следующая ошибка:
​
Уведомление об ошибке будет содержать текст: “Strategy is not valid. Errors: StrategyDTO(id=26944, agent_id=23289, is_active=False, dialog_timeout=datetime.timedelta(0, 900), modified_at=datetime.datetime(2021, 4, 15, 9, 49, 45, 763752), keep_chat_state_between_dialogs=False) ['Invalid strategy schema. Error: {\'node_list\': {9: {\'transition_rule_list\': {0: {\'error\': TransitionRuleCompilerError(\'Failed to compile transition rule!\', "parse_result in context && context.parse_result == \'\\\\\' -> 4")}}}}}']”
Подсветка ошибки и всплывающая подсказка
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается проблемный под-слот result с неэкранированными символами ‘ или \.
‘ and  \ characters  in result subslots must be escaped with a \ character.
What to do: escape ‘ and  \ characters with a \ character.
6. Попытка перезаписи системных контекстных переменных, запрещенных для перезаписи
Узнать, какие системные контекстные переменные доступны или недоступны для перезаписи, вы можете в статье Системные контекстные переменные​
При попытке их перезаписи в Слотах Incoming Request, Slot Filling, Memory, External Request при обучении Агента будет выводиться следующая ошибка валидации сценарий:
​
​
 В тексте ошибки есть список переменных, запрещенных для записи.
Подсветка ошибки и всплывающая подсказка
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается проблемный слот Incoming Request, Slot Filling, Memory, External Request, Synonym.
“var” is a system variable that cannot be used in following slot types: Incoming Request, Slot Filling, Memory, External Request, Synonym.
What to do: remove the “var” variable from the slot.

Для случаев, если несколько системных переменных попытались перезаписать, отображать их в одном уведомлении через запятую, пример:

“var1”,  “var2”, “var3” are system variables that cannot be used in following slot types: Incoming Request, Slot Filling, Memory, External Request, Synonym.
What to do: remove the “var1”,  “var2”, “var3” variables from the slot.
7. Некорректное написание шаблонов в новом синтаксисе
Правила написания Шаблонов описаны в статье Новый синтаксис. Если Шаблон в новом синтаксисе был прописан некорректно, будет выведена ошибка:
​
Формат текста предупреждения:
Invalid template syntax: Slot <id проблемного слота>. Error “<описание ошибки>” in expression “<проблемное выражение>”
Пример:
Invalid template syntax: Slot 8848840. Error “unexpected char '@' at 3” in expression “{{ @foo }}”
Расшифровка ошибки: в Слоте 8848840 обнаружена ошибка — лишний символ '@' с порядковым номером 3 в выражении {{ @foo }}.
Важно: отсчет порядковых номеров символов в проблемном выражении начинается с 0.
Подсветка ошибки и всплывающая подсказка
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается слот с некорректно составленным выражением или управляющей конструкцией
Error “<описание ошибки>” in expression “<проблемное выражение>”
What to do: edit the expression. New syntax documentation: https://docs.chatme.ai/perekhod-na-novyi-sintaksis#vyrazheniya​
8. В слоте Notification использован удаленный канал
Если ранее в Слоте Notification был выбран и затем удален Канал Агента Whatsapp (360dialog), будет выведена ошибка:
​
​
Текст ошибки:
Notification slots with invalid channel settings found: <id Слота>
Подсветка ошибки и всплывающая подсказка
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается проблемный слот Notification
A non-existing channel is set in the destination field (the channel might be deleted).
What to do: choose an existing channel.
9. Некорректное имя пользовательской переменой
Если в Слоте Memory, Slot Filling, Incoming Request, Synonym или Notification либо в Внешний запрос указана Пользовательские контекстные переменные, название которой не соответствует требованиям, будет выведена ошибка:
​
​
Текст ошибки:
Filling slots with invalid fields found: <slot_id>.
Подсветка ошибки и всплывающая подсказка
​
​
Тип подсветки
Подсветка
Текст ошибки
Подсветка слота
Подсвечивается проблемный слот, содержащий переменную
Wrong name. The name must be no more than 128 characters and may contain only latin letters, numbers and _ .
What to do: edit the name.

Тип подсветки	Подсветка	Текст ошибки
Подсветка ветки	Подсвечивается вся ветка сценария, в которой не хватает блокирующего слота. При добавлении слота в проблемную ветку новый слот в дереве затемняется и никак не выделен цветом.	Blocking slot types (Button menu, Change chat mode, Incoming request, Wait for reaction) were not found in the branch: Slot ID -> Slot ID” What to do: add blocking slots to the branch.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота с последующей кнопкой добавления нового слота	Подсвечивается слот, после которого необходимо продолжить сценарий, кнопка добавления слота и соединительная линия между ними.	Slot of this type can’t be the last one in the branch. What to do: add subsequent branch or at least any of these slots: Wait for reaction, Change chat mode, Jump.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается проблемный под-слот intent с недостаточным количеством фраз в обучающей выборке.	The number of requests of the intent ‘название интента’ is not enough, it should be at least 2. What to do: add some requests to the intent.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается проблемный под-слот intent с недостаточным количеством букв во фразе обучающей выборки.	The number of letters in the request "..." of this intent is not enough, it should be at least 1. What to do: edit the request so that it contains at least 1 letter.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается проблемный под-слот result с неэкранированными символами ‘ или \.	‘ and \ characters in result subslots must be escaped with a \ character. What to do: escape ‘ and \ characters with a \ character.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается проблемный слот Incoming Request, Slot Filling, Memory, External Request, Synonym.	“var” is a system variable that cannot be used in following slot types: Incoming Request, Slot Filling, Memory, External Request, Synonym. What to do: remove the “var” variable from the slot. Для случаев, если несколько системных переменных попытались перезаписать, отображать их в одном уведомлении через запятую, пример: “var1”, “var2”, “var3” are system variables that cannot be used in following slot types: Incoming Request, Slot Filling, Memory, External Request, Synonym. What to do: remove the “var1”, “var2”, “var3” variables from the slot.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается слот с некорректно составленным выражением или управляющей конструкцией	Error “<описание ошибки>” in expression “<проблемное выражение>” What to do: edit the expression. New syntax documentation: https://docs.chatme.ai/perekhod-na-novyi-sintaksis#vyrazheniya

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается проблемный слот Notification	A non-existing channel is set in the destination field (the channel might be deleted). What to do: choose an existing channel.

Тип подсветки	Подсветка	Текст ошибки
Подсветка слота	Подсвечивается проблемный слот, содержащий переменную	Wrong name. The name must be no more than 128 characters and may contain only latin letters, numbers and _ . What to do: edit the name.

Контекст - Previous

Использование в диалоге информации о собеседнике из канала

Next - Обучение и тестирование агента

Тестирование сценария Агента

Last modified 1mo ago

Требования для успешного обучения Агента

Валидация Сценария Агента

Требования к агенту для успешной валидации

Возможные ошибки построения сценария и их обозначение в Дереве

1. Отсутствие блокирующих слотов в ветках сценария

Подсветка ошибки и всплывающая подсказка

​

2. Не закрытые ветки сценария

Подсветка ошибки и всплывающая подсказка

3. Недостаточное количество фраз в обучающей выборке

Подсветка ошибки и всплывающая подсказка

4. Недостаточное количество букв во фразе обучающей выборки

Подсветка ошибки и всплывающая подсказка

5. Синтаксис в подслоте result слота Regular Expression

Подсветка ошибки и всплывающая подсказка

6. Попытка перезаписи системных контекстных переменных, запрещенных для перезаписи

7. Некорректное написание шаблонов в новом синтаксисе

Подсветка ошибки и всплывающая подсказка

8. В слоте Notification использован удаленный канал

Подсветка ошибки и всплывающая подсказка

9. Некорректное имя пользовательской переменой

Подсветка ошибки и всплывающая подсказка