Работа с нестабильными автотестами

Вы можете помечать автотесты в системе как нестабильные, чтобы вести аналитику по стабильности ваших автотестов. Вы можете поставить автотесту отметку о нестабильности (flaky) через UI и с помощью API.

Идентификация нестабильных автотестов

Test IT позволяет идентифицировать нестабильные тесты с помощью статистики запусков. Система отслеживает историю запусков и формирует статистику по последним 100 запускам автотеста. Частота прохождений с разными результатами влияет на процент стабильности автотеста. Стабильным считается автотест, который за последние 100 запусков дает один и тот же результат.

Чтобы идентифицировать нестабильный автотест:

1. Откройте проект.
2. Перейдите в раздел Автотесты.
3. Откройте автотест.
4. Обратите внимание на поле Стабильность прохождения в описании автотеста. Если стабильность теста менее 100%, вы можете пометить тест как нестабильный.

Вы можете проанализировать ошибки нестабильных автотестов и создать категории ошибок, чтобы система находила их автоматически.

Проставление отметки о нестабильности через API

Чтобы отметить тест как нестабильный с помощью API:

• При создании автотеста с помощью метода POST /api/v2/autoTests укажите значение параметра isFlaky как true.

Автотест, создаваемый в системе, будет автоматически отмечен как нестабильный.

Проставление отметки о нестабильности через UI

1. Откройте проект.
2. Перейдите в раздел Автотесты.
3. Откройте автотест.
4. В описании автотеста найдите поле Стабильность и выберите статус в выпадающем меню.
   

Проставление отметки о нестабильности для нескольких автотестов

1. Откройте проект.
2. Перейдите в раздел Автотесты.
3. Поставьте флажки около автотестов, которым хотите присвоить отметку о нестабильности.
4. Пометьте тесты как стабильные или нестабильные с помощью меню массовых действий над списком автотестов.