Работа с нестабильными автотестами

Вы можете помечать автотесты в системе как нестабильные, чтобы вести аналитику по стабильности ваших автотестов. Вы можете поставить автотесту отметку о нестабильности (flaky) через UI и с помощью API.

Идентификация нестабильных автотестов

Test IT позволяет идентифицировать нестабильные тесты с помощью статистики запусков. Система отслеживает историю запусков и формирует статистику по последним 100 запускам автотеста. Частота прохождений с разными результатами влияет на процент стабильности автотеста. Стабильным считается автотест, который за последние 100 запусков дает один и тот же результат.

Чтобы идентифицировать нестабильный автотест:

1. Откройте проект.
2. Перейдите в раздел Автотесты.
3. Откройте карточку автотеста.
4. Обратите внимание на поле Стабильность прохождения в описании автотеста. Если стабильность теста менее 100%, вы можете пометить тест как нестабильный.

Вы можете проанализировать ошибки нестабильных автотестов и создать категории ошибок, чтобы система находила их автоматически.

Автоматическая отметка нестабильных автотестов

Тарифные ограничения для Test IT Cloud

В тарифе Lite автоматическое определение нестабильных автотестов недоступно. Подробнее: о тарифах Test IT Cloud.

Test IT может автоматически отмечать тесты как нестабильные. Для этого нужно включить соответствующую опцию в настройках проекта (по умолчанию отключена).

Как рассчитывается стабильность автотестов

Стабильность рассчитывается как отношение количества изменений результатов к их общему количеству за последние 100 прогонов. В подсчете стабильности участвуют результаты Успешен, Провален, Пропущен и Заблокирован. Подсчет начинается со второго результата, первый результат не учитывается.
Стабильность теста не означает его успешность. Например, последние 100 прогонов Тест 1 прошел с результатом Успешен, а Тест 2 — с результатом Провален. Стабильность обоих тестов составит 100%.

Чтобы включить автоматическую отметку нестабильных автотестов:

1. Откройте проект.
2. В меню слева выберите Настройки, затем выберите Общие.
3. Выберите опцию Автоматически отмечать нестабильные тесты.
4. Нажмите Сохранить. Система будет автоматически определять и отмечать нестабильные тесты.

Проставление отметки о нестабильности через API

Чтобы отметить тест как нестабильный с помощью API:

• При создании автотеста с помощью метода POST /api/v2/autoTests укажите значение параметра isFlaky как true.

Автотест, создаваемый в системе, будет автоматически отмечен как нестабильный.

Проставление отметки о нестабильности через UI

1. Откройте проект.
2. Перейдите в раздел Автотесты.
3. Откройте карточку автотеста.
4. В описании автотеста найдите поле Стабильность и выберите статус в выпадающем меню.
   

Проставление отметки о нестабильности для нескольких автотестов

1. Откройте проект.
2. Перейдите в раздел Автотесты.
3. Поставьте флажки около автотестов, которым хотите присвоить отметку о нестабильности.
4. Пометьте тесты как стабильные или нестабильные с помощью меню массовых действий над списком автотестов.