Test IT

Анализ результатов автотестов

После запуска автотестов вы можете проанализировать их прогон (тест-ран). Вы можете:

  • Отметить в системе автотесты без дефектов.
  • Задать причину падения автотестов, выставив одну из категорий ошибок: продукт, автотест или инфраструктура.
  • Задать регулярное выражение, при обнаружении которого система Test IT будет автоматически определять причину падения теста.

Отметка успешных автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте успешные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Успешен.
  5. Выделите все успешные автотесты, поставив флажок в колонке ID.
  6. Нажмите Указать причину.
  7. В поле Без дефектов укажите значение NoDefect.
  8. Нажмите Сохранить.

После того, как вы отметите успешные автотесты, обратите внимание на панель Анализ категорий ошибок. Отмеченные вами успешные автотесты теперь относятся к категории Без дефектов. В дальнейшем вы можете использовать эту информацию в аналитике по проекту.

Определение причины падения автотестов

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален.
  5. Откройте проваленный автотест. В верхней части описания результата вы увидите панель Stack Trace, отображающую строки кода, на которых тест упал.
  6. Когда вы определите, в чем именно причина падения автотеста на данных строках кода, укажите причину падения данного автотеста в поле Причина падения. Вам доступны следующие варианты:
    • Продукт
    • Инфраструктура
    • Автотест
  7. Нажмите Сохранить.

Сохранение категорий ошибок

Вы можете обучать систему Test IT распознавать типичные ошибки в автотестах с помощью регулярных выражений и категорий ошибок, ассоциирующихся с ними. При сохраненном регулярном выражении система Test IT автоматически проставляет упавшим автотестам, содержащим это выражение, заданную категорию ошибки.

  1. Откройте проект.
  2. Перейдите в раздел Прогоны.
  3. Откройте прогон.
  4. Отфильтруйте проваленные автотесты. Для этого нажмите Фильтр над таблицей результатов тестов и в поле Статус выберите Провален.
  5. Откройте проваленный автотест.
  6. Скопируйте строки кода в панели Stack Trace. Данные строки кода представляют собой регулярное выражение, которое система Test IT может автоматически находить и проставлять такому автотесту категорию ошибки.
  7. Нажмите Назад, чтобы вернуться в проект.
  8. Перейдите в раздел Категории ошибок.
  9. Нажмите Создать.
  10. Введите название категории ошибки.
  11. Выберите причину результата прогона, которую хотите указывать при обнаружении вашего регулярного выражения. Вам доступны три категории:
  • Продукт
  • Инфраструктура
  • Автотест
  1. Вставьте скопированные строки в раздел Регулярные выражения.
  2. Нажмите Сохранить.

Созданные вами категории ошибок отображаются в общей таблице в разделе Категории ошибок. Нажмите Фильтр над таблицей, чтобы отфильтровать категории ошибок по причине результата, названию и количеству регулярных выражений, включенных в категорию ошибок.

Редактирование прогонов

Вы можете редактировать прогоны автотестов (тест-раны), изменяя их атрибуты. Вам доступны следующие опции:

  • Редактирование одного прогона — позволяет изменить название, описание, источник запуска, вложенные файлы и ссылки.
  • Массовое редактирование — позволяет изменять описание, источник запуска, вложенные файлы и ссылки.

Чтобы отредактировать прогон:

  1. Откройте проект.
  2. Перейдите в раздел Автотесты > Прогоны.
  3. Отметьте флажками интересующие вас прогоны. Вы можете выбрать один или более прогонов. Чтобы выбрать все прогоны, поставьте флажок в ячейке Название.
  4. Нажмите значок Редактировать.
    • Опционально: Чтобы отредактировать отдельный прогон, нажмите значок Действия в левой части списка прогонов и выберите Редактировать.
  5. В открывшемся окне внесите требуемые изменения.
  6. Нажмите Сохранить.