Работа с нестабильными автотестами
Вы можете помечать автотесты в системе как нестабильные, чтобы вести аналитику по стабильности ваших автотестов. Вы можете поставить автотесту отметку о нестабильности (flaky) через UI и с помощью API.
Идентификация нестабильных автотестов
Test IT позволяет идентифицировать нестабильные тесты с помощью статистики запусков. Система отслеживает историю запусков и формирует статистику по последним 100 запускам автотеста. Частота прохождений с разными результатами влияет на процент стабильности автотеста. Стабильным считается автотест, который за последние 100 запусков дает один и тот же результат.
Чтобы идентифицировать нестабильный автотест:
- Откройте проект.
- Перейдите в раздел Автотесты.
- Откройте автотест.
- Обратите внимание на поле Стабильность прохождения в описании автотеста. Если стабильность теста менее 100%, вы можете пометить тест как нестабильный.
Вы можете проанализировать ошибки нестабильных автотестов и создать категории ошибок, чтобы система находила их автоматически.
Проставление отметки о нестабильности через API
При создании автотеста с помощью метода POST /api/v2/autoTests укажите значение параметра isFlaky как true.
В этом случае автотест, создаваемый в системе, автоматически помечается как нестабильный.
Проставление отметки о нестабильности через UI
- Откройте проект.
- Перейдите в раздел Автотесты.
- Откройте автотест.
- В описании автотеста найдите поле Стабильность и выберите необходимый вам статус в выпадающем меню.
Проставление отметки о нестабильности для нескольких автотестов
- Откройте проект.
- Перейдите в раздел Автотесты.
- Поставьте флажки около автотестов, которым хотите присвоить отметку о нестабильности.
- Пометьте тесты как стабильные или нестабильные с помощью меню массовых действий над списком автотестов.
