Анализ результатов автотестов

После запуска автотестов вы можете проанализировать их прогон. Вы можете:

• Отметить в системе автотесты без дефектов.
• Задать причину падения автотестов, выставив одну из категорий ошибок: продукт, автотест или инфраструктура.
• Задать регулярное выражение, при обнаружении которого система Test IT будет автоматически определять причину падения теста.

Отметка успешных автотеств

1. Откройте проект.
2. Перейдите в раздел Прогоны.
3. Откройте интересующий вас тест-ран.
4. Отфильтруйте успешные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Успешен.
5. Выделите все успешные автотесты, поставив флажок в колонке ID.
6. Нажмите Указать причину.
7. В поле Без дефектов укажите значение NoDefect.
8. Нажмите Сохранить.

После того, как вы отметите успешные автотесты, обратите внимание на панель Анализ категорий ошибок. Отмеченные вами успешные автотесты теперь относятся к категории Без дефектов. В дальнейшем вы можете использовать эту информацию в аналитике по проекту.

Определение причины падения автотестов

1. Откройте проект.
2. Перейдите в раздел Прогоны.
3. Откройте интересующий вас тест-ран.
4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален.
5. Откройте проваленный результат. В верхней части описания результата вы увидите панель Stack Trace, отображающую строки кода, на которых тест упал.
6. Когда вы определите, в чем именно причина падения автотеста на данных строках кода, укажите причину падения данного автотеста в поле Причина падения. Вам доступны следующие варианты:
   • Продукт
   • Инфраструктура
   • Автотест
7. Нажмите Сохранить.

Сохранение категорий ошибок

Вы можете обучать систему Test IT распознавать типичные ошибки в автотестах с помощью регулярных выражений и категорий ошибок, ассоциирующихся с ними. При сохраненном регулярном выражении система Test IT автоматически проставляет упавшим автотестам, содержащим это выражение, заданную категорию ошибки.

1. Откройте проект.
2. Перейдите в раздел Прогоны.
3. Откройте интересующий вас тест-ран.
4. Откройте проваленный результат.
5. Скопируйте строки кода в панели Stack Trace. Данные строки кода представляют собой регулярное выражение, которое система Test IT может автоматически находить и проставлять такому автотесту категорию ошибки.
6. Нажмите Назад, чтобы вернуться в проект.
7. Перейдите в раздел Категории ошибок.
8. Нажмите Создать.
9. Введите название категории ошибки.
10. Выберите причину результата прогона, которую хотите указывать при обнаружении вашего регулярного выражения. Вам доступны три категории:
    • Продукт
    • Инфраструктура
    • Автотест
11. Вставьте скопированные строки в раздел Регулярные выражения.
12. Нажмите Сохранить.

Созданные вами категории ошибок отображаются в общей таблице в разделе Категории ошибок. Нажмите Фильтр над таблицей, чтобы отфильтровать категории ошибок по причине результата, названию и количеству регулярных выражений, включенных в категорию ошибок.