Анализ результатов автотестов

После запуска автотестов вы можете проанализировать их прогон (тест-ран). Вы можете:

  • Отметить в системе автотесты без дефектов
  • Задать причину падения автотестов, выставив одну из категорий ошибок: продукт, автотест или инфраструктура
  • Задать регулярное выражение, при обнаружении которого система Test IT будет автоматически определять причину падения теста

Отметка успешных автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте успешные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Успешен.
  5. Выделите все успешные автотесты, поставив флажок в колонке ID.
  6. Нажмите Указать причину. Отметить результаты успешных автотестов в Test IT TMS
  7. В поле Без дефектов укажите значение NoDefect.
  8. Нажмите Сохранить.

После того, как вы отметите успешные автотесты, обратите внимание на панель Анализ категорий ошибок. Отмеченные вами успешные автотесты теперь относятся к категории Без дефектов. В дальнейшем вы можете использовать эту информацию в аналитике по проекту.

Определение причины падения автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален. Просмотр проваленных автотестов в Test IT TMS
  5. Откройте проваленный автотест. В верхней части описания результата вы увидите панель Stack Trace, отображающую строки кода, на которых тест упал.
  6. Когда вы определите, в чем именно причина падения автотеста на данных строках кода, укажите причину падения данного автотеста в поле Причина падения. Вам доступны следующие варианты:
    • Продукт
    • Инфраструктура
    • АвтотестПричина падения автотестов в Test IT TMS
  7. Нажмите Сохранить.

Сохранение категорий ошибок

Вы можете обучать систему Test IT распознавать типичные ошибки в автотестах с помощью регулярных выражений и категорий ошибок, ассоциирующихся с ними. При сохраненном регулярном выражении система Test IT автоматически проставляет упавшим автотестам, содержащим это выражение, заданную категорию ошибки.

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален. Просмотр проваленных автотестов в Test IT TMS
  5. Откройте проваленный автотест.
  6. Скопируйте строки кода в панели Stack Trace. Данные строки кода представляют собой регулярное выражение, которое система Test IT может автоматически находить и проставлять такому автотесту категорию ошибки. Причина падения автотеста в Test IT TMS
  7. Нажмите Назад, чтобы вернуться в проект.
  8. Перейдите в раздел Автотесты > Категории ошибок.
  9. Нажмите Создать. Меню категорий ошибок автотестов в Test IT TMS
  10. Введите название категории ошибки.
  11. Выберите причину ошибки, которую хотите указывать при обнаружении вашего регулярного выражения. Вам доступны три категории:
    • Продукт
    • Инфраструктура
    • Автотест
  12. Вставьте скопированные строки в раздел Регулярные выражения. Вы можете добавить несколько регулярных выражений к одной категории ошибок.
    • Опционально: Чтобы удалить регулярное выражение, нажмите значок Корзина справа от него.
  13. Нажмите Сохранить.
  14. Чтобы отредактировать или удалить категорию ошибок, используйте меню Действия правой части списка категорий ошибок.

Созданные вами категории ошибок отображаются в разделе Автотесты > Категории ошибок. Нажмите Фильтр над таблицей, чтобы отфильтровать категории ошибок по причине результата, названию и количеству регулярных выражений, включенных в категорию ошибок.

Редактирование прогонов

Вы можете редактировать прогоны автотестов (тест-раны), изменяя их атрибуты. Вам доступны следующие опции:

  • Редактирование одного прогона — позволяет изменить название, описание, источник запуска, вложенные файлы и ссылки.
  • Массовое редактирование — позволяет изменять описание, источник запуска, вложенные файлы и ссылки.

Чтобы отредактировать прогон:

  1. Откройте проект.
  2. Перейдите в раздел Автотесты > Прогоны.
  3. Отметьте флажками интересующие вас прогоны. Вы можете выбрать один или более прогонов. Чтобы выбрать все прогоны, поставьте флажок в ячейке Название.
  4. Нажмите значок Редактировать. Редактирование прогона автотестов в Test IT TMS
    • Опционально: Чтобы отредактировать отдельный прогон, нажмите значок Действия в левой части списка прогонов и выберите Редактировать.
  5. В открывшемся окне внесите требуемые изменения.
  6. Нажмите Сохранить.
Обновлено: