Анализ результатов автотестов

После запуска автотестов вы можете проанализировать их прогон (тест-ран). Вы можете:

  • Отметить в системе автотесты без дефектов
  • Задать причину падения автотестов, выставив одну из категорий ошибок: продукт, автотест или инфраструктура
  • Задать регулярное выражение, при обнаружении которого система Test IT будет автоматически определять причину падения теста

Отметка успешных автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте успешные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Успешен.
  5. Выделите все успешные автотесты, поставив флажок в колонке ID.
  6. Нажмите Указать причину. Отметить результаты успешных автотестов в Test IT TMS
  7. В поле Без дефектов укажите значение NoDefect.
  8. Нажмите Сохранить.

После того, как вы отметите успешные автотесты, обратите внимание на панель Анализ категорий ошибок. Отмеченные вами успешные автотесты теперь относятся к категории Без дефектов. В дальнейшем вы можете использовать эту информацию в аналитике по проекту.

Определение причины падения автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален. Просмотр проваленных автотестов в Test IT TMS
  5. Откройте проваленный автотест. В верхней части описания результата вы увидите панель Stack Trace, отображающую строки кода, на которых тест упал.
  6. Когда вы определите, в чем именно причина падения автотеста на данных строках кода, укажите причину падения данного автотеста в поле Причина падения. Вам доступны следующие варианты:
    • Продукт
    • Инфраструктура
    • АвтотестПричина падения автотестов в Test IT TMS
  7. Нажмите Сохранить.

Создание категорий ошибок

Вы можете обучать систему Test IT распознавать типичные ошибки в автотестах с помощью регулярных выражений и категорий ошибок, ассоциирующихся с ними. У проваленных автотестов регулярное выражение формируется из панели Stack Trace. При сохраненном регулярном выражении система Test IT автоматически проставляет автотестам, содержащим это выражение, заданную категорию ошибки.

Чтобы создать категорию ошибок:

  1. Откройте проект.
  2. Откройте раздел Автотесты и перейдите в Прогоны.
  3. Откройте прогон.
  4. В прогоне откройте автотест.
  5. В окне автотеста в правой панели разверните секцию Причина падения.
  6. Нажмите левой кнопкой мыши в поле Автотест. Откроется выпадающее меню категорий ошибок.
  7. В выпадающем меню нажмите Создать новую категорию. Откроется окно создания категории ошибок. Создание категорий ошибок в Test IT TMS
  8. Заполните данные новой категории ошибок:
    Новая категория ошибок в Test IT TMS
    • Введите название.
    • Заполните поле Регулярные выражения. Для автотестов в статусе Провален система автоматически скопирует первые 1054 символа кода из панели Stack Trace.
    • Опционально: Отредактируйте регулярное выражение.
    • Опционально: Добавьте в категорию ошибок другие регулярные выражения.
    • Опционально: Чтобы удалить регулярное выражение, нажмите значок Корзина справа от него.
  9. Нажмите Сохранить. Новая категория ошибок сохранится в разделе Автотесты > Категории ошибок.
  10. В окне автотеста нажмите Сохранить, чтобы сохранить новую категорию ошибок в данном автотесте.

Категории ошибок отображаются в разделе Автотесты > Категории ошибок. Нажмите Фильтр над таблицей, чтобы отфильтровать категории ошибок по причине результата, названию и количеству регулярных выражений, включенных в категорию ошибок. Чтобы отредактировать или удалить категорию ошибок, используйте меню Действия в правой части списка категорий ошибок.

Редактирование прогонов

Вы можете редактировать прогоны автотестов (тест-раны), изменяя их атрибуты. Вам доступны следующие опции:

  • Редактирование одного прогона — позволяет изменить название, описание, источник запуска, вложенные файлы и ссылки.
  • Массовое редактирование — позволяет изменять описание, источник запуска, вложенные файлы и ссылки.

Чтобы отредактировать прогон:

  1. Откройте проект.
  2. Перейдите в раздел Автотесты > Прогоны.
  3. Отметьте флажками нужные прогоны. Вы можете выбрать один или более прогонов. Чтобы выбрать все прогоны, поставьте флажок в ячейке Название.
  4. Нажмите значок Редактировать. Редактирование прогона автотестов в Test IT TMS
    • Опционально: Чтобы отредактировать отдельный прогон, нажмите значок Действия в правой части списка прогонов и выберите Редактировать.
  5. В открывшемся окне внесите требуемые изменения.
  6. Нажмите Сохранить.

Действия с прогонами

Меню Действия расположено в правой части списка прогонов. Действия с прогонами автотестов в Test IT TMS С помощью меню действий вы можете:

  • Отредактировать отдельный прогон
  • Скопировать ID прогона
  • Скопировать ссылку на прогон
  • Архивировать прогон Чтобы открыть меню действий:
  • Нажмите значок Действия справа в списке прогонов.

Удаление и восстановление прогонов

Чтобы удалить прогоны:

  1. Откройте проект
  2. Перейдите в раздел Автотесты > Прогоны.
  3. Отметьте прогоны, которые хотите удалить, затем нажмите значок Корзина. Удаление прогона автотестов в Test IT TMS
  4. В открывшемся окне подтвердите действие.
  5. Опционально: Для восстановления удаленных прогонов перейдите в API-документацию и используйте методы:
    • Для восстановления одного прогона: /api/v2/testRuns/{id}/restore
    • Для массового восстановления прогонов: /api/v2/testRuns/{id}/restore
Обновлено: