Анализ результатов автотестов

После запуска автотестов вы можете проанализировать их прогон (тест-ран). Вы можете:

  • Отметить в системе автотесты без дефектов
  • Задать причину падения автотестов, выставив одну из категорий ошибок: продукт, автотест или инфраструктура
  • Задать регулярное выражение, при обнаружении которого система Test IT будет автоматически определять причину падения теста

Определение причины падения автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален. Просмотр проваленных автотестов в Test IT TMS
  5. Откройте проваленный автотест. В верхней части описания результата вы увидите панель Stack Trace, отображающую строки кода, на которых тест упал.
  6. Когда вы определите, в чем именно причина падения автотеста на данных строках кода, укажите причину падения данного автотеста в поле Причина падения. Вам доступны следующие варианты:
    • Продукт
    • Инфраструктура
    • АвтотестПричина падения автотестов в Test IT TMS
  7. Нажмите Сохранить.

Создание категорий ошибок

Вы можете обучать систему Test IT распознавать типичные ошибки в автотестах с помощью регулярных выражений и категорий ошибок, ассоциирующихся с ними. У проваленных автотестов регулярное выражение формируется из панели Stack Trace. При сохраненном регулярном выражении система Test IT автоматически проставляет автотестам, содержащим это выражение, заданную категорию ошибки. Категории ошибок можно создавать в прогоне или в разделе Настройки проектов.

Чтобы создать категорию ошибок в прогоне:

  1. Откройте проект.
  2. Откройте раздел Автотестирование → Прогоны.
  3. Откройте прогон.
  4. В прогоне откройте автотест.
  5. В окне автотеста в правой панели разверните секцию Причина падения.
  6. Нажмите левой кнопкой мыши в поле Автотест. Откроется выпадающее меню категорий ошибок.
  7. В выпадающем меню нажмите Создать новую категорию. Откроется окно создания категории ошибок. Создание категорий ошибок в Test IT TMS
  8. Заполните данные новой категории ошибок:
    Новая категория ошибок в Test IT TMS
    • Введите название.
    • Заполните поле Регулярные выражения. Для автотестов в статусе Провален система автоматически скопирует первые 1054 символа кода из панели Stack Trace.
    • Опционально: Отредактируйте регулярное выражение.
    • Опционально: Добавьте в категорию ошибок другие регулярные выражения.
    • Опционально: Чтобы удалить регулярное выражение, нажмите значок Корзина справа от него.
  9. Нажмите Сохранить. Новая категория ошибок сохранится в разделе Автотестирование → Категории ошибок.
  10. В окне автотеста нажмите Сохранить, чтобы сохранить новую категорию ошибок в данном автотесте.

Категории ошибок отображаются в Настройках проектов и в разделе проекта Автотестирование → Категории ошибок.

Управление категориями ошибок

Для категорий ошибок доступны:

  • Глобальное управление — на уровне всей системы Test IT в разделе Настройки проектов. Здесь можно назначать категории ошибок на различные проекты.
  • Управление в проекте — на уровне отдельного проекта в разделе Автотестирование

Глобальное управление категориями ошибок

Вы можете создавать категории ошибок, указывать, в каких проектах Test IT они будут использоваться или вносить в них изменения. Чтобы открыть раздел Категории ошибок:

  • В верхней навигационной панели Test IT нажмите Настройки проектов, затем в меню слева выберите Категории ошибок. Раздел категорий ошибок в Test IT TMS В разделе Категории ошибок вам доступны действия:
  • Чтобы создать категорию ошибок, нажмите Создать (1). Укажите данные о категории, включая проекты, в которых эта категория ошибок будет использоваться.
  • Чтобы изменить категорию ошибок, нажмите на нее в списке (2) или нажмите Действия и выберите Редактировать (3). Здесь вы можете выбрать проекты, в которых категория ошибок будет использоваться.
  • Чтобы скопировать или удалить категорию ошибок, выберите Действия (3) и выберите нужную опцию.
  • Чтобы найти категории ошибок, используемые в конкретных проектах, используйте поле Поиск по проекту (4).
  • Для расширенного поиска воспользуйтесь Фильтром (5).

Управление категориями ошибок в проекте

Чтобы открыть раздел управления категориями ошибок в проекте,

  • Откройте проект, затем в левом навигационном меню выберите Автотестирование → Категории ошибок. Раздел категорий ошибок в проекте Test IT TMS В разделе Категории ошибок вам доступны действия:
  • Чтобы создать категорию ошибок, нажмите Создать (1).
  • Чтобы изменить категорию ошибок, нажмите на нее в списке (2) или нажмите Действия и выберите Редактировать (3). Если категория ошибок используется в других проектах, редактирование недоступно.
  • Чтобы удалить категорию ошибок из проекта, выберите Действия (3) и выберите нужную опцию. Категории ошибок, удаленные из проекта, доступны в разделе Настройки проектов.
  • Для поиска воспользуйтесь Фильтром (4).

Редактирование прогонов

Вы можете редактировать прогоны автотестов (тест-раны), изменяя их атрибуты. Вам доступны следующие опции:

  • Редактирование одного прогона — позволяет изменить название, описание, источник запуска, вложенные файлы и ссылки.
  • Массовое редактирование — позволяет изменять описание, источник запуска, вложенные файлы и ссылки.

Чтобы отредактировать прогон:

  1. Откройте проект.
  2. Перейдите в раздел Автотестирование → Прогоны.
  3. Отметьте флажками нужные прогоны. Вы можете выбрать один или более прогонов. Чтобы выбрать все прогоны, поставьте флажок в ячейке Название.
  4. Нажмите значок Редактировать. Редактирование прогона автотестов в Test IT TMS
    • Опционально: Чтобы отредактировать отдельный прогон, нажмите значок Действия в правой части списка прогонов и выберите Редактировать.
  5. В открывшемся окне внесите требуемые изменения.
  6. Нажмите Сохранить.

Действия с прогонами

Меню Действия расположено в правой части списка прогонов. Действия с прогонами автотестов в Test IT TMS С помощью меню действий вы можете:

  • Отредактировать отдельный прогон
  • Скопировать ID прогона
  • Скопировать ссылку на прогон
  • Архивировать прогон
    Чтобы открыть меню действий:
  • Нажмите значок Действия справа в списке прогонов.

Удаление и восстановление прогонов

Чтобы удалить прогоны:

  1. Откройте проект
  2. Перейдите в раздел Автотестирование → Прогоны.
  3. Отметьте прогоны, которые хотите удалить, затем нажмите значок Корзина. Удаление прогона автотестов в Test IT TMS
  4. В открывшемся окне подтвердите действие.
  5. Опционально: Для восстановления удаленных прогонов перейдите в API-документацию и используйте методы:
    • Для восстановления одного прогона: /api/v2/testRuns/{id}/restore
    • Для массового восстановления прогонов: /api/v2/testRuns/{id}/restore

Отметка успешных автотестов

  1. Откройте проект.
  2. Перейдите в раздел Автотестирование → Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте успешные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Успешен.
  5. Выделите все успешные автотесты, поставив флажок в колонке ID.
  6. Нажмите Указать причину. Отметка результатов успешных автотестов в Test IT TMS
  7. В поле Без дефектов укажите значение NoDefect.
  8. Нажмите Сохранить.
Обновлено: