Анализ результатов автотестов

После запуска автотестов вы можете проанализировать их прогон (тест-ран). Вы можете:

  • Отметить в системе автотесты без дефектов
  • Задать причину падения автотестов, выставив одну из категорий ошибок: продукт, автотест или инфраструктура
  • Задать регулярное выражение, при обнаружении которого система Test IT будет автоматически определять причину падения теста

Определение причины падения автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален. Просмотр проваленных автотестов в Test IT
  5. Откройте проваленный автотест. В верхней части описания результата вы увидите панель Stack Trace, отображающую строки кода, на которых тест упал.
  6. Когда вы определите, в чем именно причина падения автотеста на данных строках кода, укажите причину падения данного автотеста в поле Причина падения. Вам доступны следующие варианты:
    • Продукт
    • Инфраструктура
    • АвтотестПричина падения автотестов в Test IT
  7. Нажмите Сохранить.

Создание категорий ошибок

Вы можете обучать систему Test IT распознавать типичные ошибки в автотестах с помощью регулярных выражений и категорий ошибок, ассоциирующихся с ними. У проваленных автотестов регулярное выражение формируется из панели Stack Trace. При сохраненном регулярном выражении система Test IT автоматически проставляет автотестам, содержащим это выражение, заданную категорию ошибки. Категории ошибок можно создавать в прогоне или в разделе Настройки проектов.

Чтобы создать категорию ошибок в прогоне:

  1. Откройте проект.
  2. Откройте раздел Автотестирование → Прогоны.
  3. Откройте прогон.
  4. В прогоне откройте автотест.
  5. В окне автотеста в правой панели разверните секцию Причина падения.
  6. Нажмите левой кнопкой мыши в поле Автотест. Откроется выпадающее меню категорий ошибок.
  7. В выпадающем меню нажмите Создать новую категорию. Откроется окно создания категории ошибок. Создание категорий ошибок в Test IT
  8. Заполните данные новой категории ошибок:
    Новая категория ошибок в Test IT
    • Введите название.
    • Заполните поле Регулярные выражения. Для автотестов в статусе Провален система автоматически скопирует первые 1054 символа кода из панели Stack Trace.
    • Опционально: Отредактируйте регулярное выражение.
    • Опционально: Добавьте в категорию ошибок другие регулярные выражения.
    • Опционально: Чтобы удалить регулярное выражение, нажмите значок Корзина справа от него.
  9. Нажмите Сохранить. Новая категория ошибок сохранится в разделе Автотестирование → Категории ошибок.
  10. В окне автотеста нажмите Сохранить, чтобы сохранить новую категорию ошибок в данном автотесте.

Категории ошибок отображаются в Настройках проектов и в разделе проекта Автотестирование → Категории ошибок.

Управление категориями ошибок

Для категорий ошибок доступны:

  • Глобальное управление — на уровне всей системы Test IT в разделе Настройки проектов. Здесь можно назначать категории ошибок на различные проекты.
  • Управление в проекте — на уровне отдельного проекта в разделе Автотестирование

Глобальное управление категориями ошибок

Вы можете создавать категории ошибок, указывать, в каких проектах Test IT они будут использоваться или вносить в них изменения. Чтобы открыть раздел Категории ошибок:

  • В верхней навигационной панели Test IT нажмите Настройки проектов, затем в меню слева выберите Категории ошибок. Раздел категорий ошибок в Test IT В разделе Категории ошибок вам доступны действия:
  • Чтобы создать категорию ошибок, нажмите Создать (1). Укажите данные о категории, включая проекты, в которых эта категория ошибок будет использоваться.
  • Чтобы изменить категорию ошибок, нажмите на нее в списке (2) или нажмите Действия и выберите Редактировать (3). Здесь вы можете выбрать проекты, в которых категория ошибок будет использоваться.
  • Чтобы скопировать или удалить категорию ошибок, выберите Действия (3) и выберите нужную опцию.
  • Чтобы найти категории ошибок, используемые в конкретных проектах, используйте поле Поиск по проекту (4).
  • Для расширенного поиска воспользуйтесь Фильтром (5).

Управление категориями ошибок в проекте

Чтобы открыть раздел управления категориями ошибок в проекте,

  • Откройте проект, затем в левом навигационном меню выберите Автотестирование → Категории ошибок. Раздел категорий ошибок в проекте Test IT В разделе Категории ошибок вам доступны действия:
  • Чтобы создать категорию ошибок, нажмите Создать (1).
  • Чтобы изменить категорию ошибок, нажмите на нее в списке (2) или нажмите Действия и выберите Редактировать (3). Если категория ошибок используется в других проектах, редактирование недоступно.
  • Чтобы удалить категорию ошибок из проекта, выберите Действия (3) и выберите нужную опцию. Категории ошибок, удаленные из проекта, доступны в разделе Настройки проектов.
  • Для поиска воспользуйтесь Фильтром (4).
Обновлено: