Test ITTest IT
  • Руководство системного администратора
  • Руководство пользователя
  • Загрузить Test IT Enterprise
  • GitHub
  • Руководство по работе с Личным кабинетом
  • Руководство пользователя
  • Личный кабинет Test IT Cloud
  • GitHub
  • Release notes: Test IT Enterprise
  • Release notes: Test IT Cloud
  • Новое в документации
  • Центр помощи
  • Видеокурс по Test IT
  • Часто задаваемые вопросы
  • Спросите нас в Telegram
      
    
  • Руководство системного администратора
  • Руководство пользователя
  • Загрузить Test IT Enterprise
  • GitHub
  • Руководство по работе с Личным кабинетом
  • Руководство пользователя
  • Личный кабинет Test IT Cloud
  • GitHub
  • Release notes: Test IT Enterprise
  • Release notes: Test IT Cloud
  • Новое в документации
  • Центр помощи
  • Видеокурс по Test IT
  • Часто задаваемые вопросы
  • Спросите нас в Telegram
  • Что такое Test IT?
  • Быстрый старт
  • Администрирование

    • Администрирование Test IT
    • Вход в систему после установки
    • Настройка подключений

      • Внешние подключения в Test IT
      • AD/LDAP
        • Поля настроек подключения
      • AD/Kerberos
      • OpenID Connect
    • Добавление лицензий
    • Приглашение пользователей
    • Добавление пользователей и групп
    • Присвоение системных ролей
    • Настройка проектных ролей
    • Настройка очистки хранилища
    • Настройки геймификации
    • Настройка атрибутов
    • Настройка интеграций с таск-трекерами

      • Интеграция с таск-трекерами
      • Интеграция с Azure DevOps
      • Интеграция с ClickUp
      • Интеграция с Easy Redmine
      • Интеграция с EvaProject
      • Интеграция с Jira
        • Интеграция с Jira Server
          • Плагин Test IT для Jira Server
        • Интеграция с Jira Cloud
        • Настройка подключения Jira через OAuth 1.0
      • Интеграция с Kaiten
      • Интеграция с Monday
      • Интеграция с Redmine
      • Интеграция с TeamStorm
      • Интеграция с Yandex Tracker
      • Интеграция с YouTrack
    • Настройка интеграций с ИИ-моделями

      • Интеграция Test IT с ИИ-моделями
      • Интеграция с GigaChat
      • Интеграция с YandexGPT
  • Авторизация
  • Профиль пользователя

    • Данные профиля пользователя
    • Настройки профиля и создание API-токена
    • Фоновые задачи
  • Проекты

    • Работа с проектами
    • Структура и компоненты проекта
    • Создание и редактирование проекта
    • Добавление пользователей и групп в проект
    • Настройка атрибутов в проекте
    • Работа с вебхуками

      • Настройка вебхуков
      • Вебхук для изменения проекта
      • Вебхуки для действий с рабочими элементами
      • Вебхуки для работы с тест-планами
      • Вебхук для изменения конфигурации
      • Вебхуки для работы с тест-поинтами
      • Вебхуки для работы с автотестами
      • Вебхуки для уведомлений пользователя
      • Настройка уведомлений в Slack с помощью вебхуков
      • Настройка уведомлений в Telegram с помощью вебхуков
      • Настройка интеграции с GitFlic с помощью вебхуков
      • Настройка интеграции с GitLab CI с помощью вебхуков
      • Настройка запуска автотестов в Jenkins CI с помощью вебхука
      • Настройка вебхука в TeamCity и Python (на примере Pytest)
    • Импорт и экспорт проектов
    • Подключение таск-трекера к проекту
    • Добавление ИИ-модели в проект
    • Архивация, восстановление и удаление проектов
  • Библиотека тестов

    • Библиотека тестов в Test IT
    • Создание тестов
      • Сравнение типов рабочих элементов
    • Импорт тестовой документации из XLS и XLSX
    • Версионирование тестов
    • Добавление общего шага в тест
    • Выделение шагов теста в общий шаг
    • Работа с параметрами тестов
    • Добавление ссылок в тесты
    • Работа с вложениями тестов
    • Использование тегов
    • Автоматизация тест-кейсов
    • Экспорт тестов
    • Массовое изменение тестов
    • Перемещение и копирование тестов в библиотеке
    • Архивация, восстановление и удаление тестов
    • Работа с секциями
  • Параметры и конфигурации

    • Работа с параметрами и конфигурациями
  • Тест-планы

    • Работа с тест-планами
    • Создание тест-плана
    • Изменение тест-плана
    • Блокировка тест-плана
    • Дублирование тест-плана
    • Добавление атрибутов тест-плана
    • Архивация, восстановление и удаление тест-плана
    • Формирование тестового набора
    • Назначение исполнителей тест-плана
    • Выполнение тест-плана
    • Создание дефектов в таск-трекерах
    • Отчет по тест-плану
  • Автотестирование

    • Работа с автоматизированными тестами
    • Добавление автотестов в Test IT из внешнего репозитория
    • Работа с нестабильными автотестами
      • Идентификация нестабильных автотестов
      • Проставление отметки о нестабильности через UI
        • Проставление отметки о нестабильности для одного автотеста
        • Проставление отметки о нестабильности для нескольких автотестов
      • Автоматическая отметка нестабильных автотестов
      • Проставление отметки о нестабильности через API
    • Связывание автотестов с ручными тестами
    • Запуск автотестов из UI
    • Запуск автотестов с помощью клиентских библиотек
    • Импорт результатов из Allure Adapters
    • Отслеживание запусков автотестов
    • Создание дефектов в таск-трекерах из прогонов автотестов
    • Анализ результатов автотестов
    • Таймлайн
  • Интеграции с системами автоматизированного тестирования

    • Работа с системами автоматизированного тестирования
    • Test IT CLI
    • Интеграция с системами CI/CD

      • Работа с системами CI/CD
      • Azure DevOps
      • Bamboo
      • Bitbucket
      • CircleCI
      • GitHub Actions
      • GitLab CI/CD
      • Jenkins
      • TeamCity
    • Интеграция с тестовыми фреймворками

      • Работа с тестовыми фреймворками
      • Адаптер Test IT
      • Appium
      • BrowserStack
      • Catch2
      • CodeceptJS
      • Cucumber
      • Cypress
      • Emcee
      • Flutter
      • Golang
      • GoogleTest
      • Jasmine
      • JBehave
      • Jest
      • JUnit
      • Kotest
      • Marathon Cloud
      • Minitest
      • Mocha
      • MSTest
      • Nose2
      • NUnit
      • PHPUnit
      • Playwright
      • Postman
      • Pytest
      • Pytest-BDD
      • Robot Framework
      • RSpec
      • Sauce Labs
      • Selenide
      • Selenium
      • SoapUI
      • SpecFlow
      • Telerik Test Studio
      • TestCafe
      • TestComplete
      • Testim
      • TestNG
      • Unittest
      • WebdriverIO
      • XCTest
      • xUnit.net
    • Плагин Test IT Management для систем IDE
    • Использование API-клиентов
  • Миграция в Test IT

    • Миграция в Test IT: возможности и процесс
    • Миграция из Allure TestOps
    • Миграция из Azure DevOps
    • Миграция из HP ALM
    • Миграция из PractiTest
    • Миграция из Qase
    • Миграция из SpiraTest
    • Миграция из TestCollab
    • Миграция из TestLink
    • Миграция из TestRail
    • Миграция из Xray
    • Миграция из Zephyr Scale
    • Миграция из Zephyr Squad
    • Загрузка тест-кейсов в Test IT с помощью импортера
  • Дашборды

    • Работа с дашбордами
    • Работа с виджетами

      • Действия с виджетами
      • Анализ результатов тестов
      • Анализ тестов, хранящихся в библиотеке
      • Анализ автотестов
      • Анализ прогонов
      • Анализ тест-планов
      • Анализ активности команды
  • Поиск и фильтры

    • Использование фильтров
    • Работа с запросами
    • Глобальный поиск
  • Уведомления
  • API

    • Работа с API
  • Горячие клавиши
  • Глоссарий

Работа с нестабильными автотестами

Вы можете помечать автотесты в системе как нестабильные, чтобы анализировать стабильность ваших автотестов. Отметить автотест как нестабильный (flaky) можно:

  • В пользовательском интерфейсе Test IT
  • Автоматически (необходимо произвести настройки)
  • С помощью API

Идентификация нестабильных автотестов

Test IT позволяет идентифицировать нестабильные тесты с помощью статистики запусков. По умолчанию система отслеживает историю запусков и формирует статистику по последним 100 запускам автотеста. Частота прохождений с разными результатами влияет на процент стабильности автотеста. Стабильным считается автотест, который за последние 100 запусков дает один и тот же результат.

Чтобы идентифицировать нестабильный автотест:

  1. Откройте проект.
  2. Перейдите в раздел Автотестирование > Библиотека автотестов. Список автоматизированных тестов в Test IT TMS
  3. Откройте карточку автотеста.
  4. Проверьте поле Стабильность прохождения в описании автотеста. Если стабильность теста менее 100%, вы можете пометить тест как нестабильный.

Вы можете проанализировать ошибки нестабильных автотестов и создать категории ошибок, чтобы система находила их автоматически.

Проставление отметки о нестабильности через UI

Проставление отметки о нестабильности для одного автотеста

  1. Откройте проект.
  2. Перейдите в раздел Автотестирование > Библиотека автотестов.
  3. Откройте карточку автотеста.
  4. В описании автотеста найдите поле Стабильность и выберите статус в выпадающем меню.
    Отметка о нестабильности автоматизированных тестов из UI Test IT TMS

Проставление отметки о нестабильности для нескольких автотестов

  1. Откройте проект.
  2. Перейдите в раздел Автотестирование > Библиотека автотестов.
  3. Отметьте автотесты, которым хотите поставить отметку о нестабильности.
  4. Над списком автотестов нажмите Отметить автотест как нестабильный, для этого нажмите значок .
    • Опционально: Отметьте тест как стабильный, для этого нажмите значок .

Отметка стабильности и нестабильности автотестов в Test IT TMS Смотрите также: Массовые действия с автотестами.

Автоматическая отметка нестабильных автотестов

Тарифные ограничения для Test IT Cloud

В тарифе Lite автоматическое определение нестабильных автотестов недоступно. Подробнее: о тарифах Test IT Cloud.

Test IT может автоматически отмечать тесты как нестабильные. Для этого нужно включить соответствующую опцию в настройках проекта (по умолчанию отключена).

Как рассчитывается стабильность автотестов

Стабильность рассчитывается как отношение количества изменений результатов к их общему количеству за последние 100 прогонов. В подсчете стабильности участвуют результаты Успешен, Провален, Пропущен и Заблокирован. Подсчет начинается со второго результата, первый результат не учитывается.
Стабильность теста не означает его успешность. Например, последние 100 прогонов Тест 1 прошел с результатом Успешен, а Тест 2 — с результатом Провален. Стабильность обоих тестов составит 100%.

Чтобы включить и настроить автоматическую отметку нестабильных автотестов:

  1. Откройте проект.
  2. В навигационном меню слева откройте раздел Автотестирование > Настройка запуска. Автоматическая отметка нестабильных автотестов в Test IT TMS
  3. Включите опцию Автоматически помечать нестабильные автотесты.
  4. Укажите количество последних прогонов и процент стабильности автотестов. На основании этих данных система будет определять нестабильные автотесты.
  5. Нажмите Сохранить.

Проставление отметки о нестабильности через API

Чтобы отметить тесты как нестабильные с помощью API:

  • При создании автотеста с помощью метода POST /api/v2/falky/bulk укажите значение параметра isFlaky как true.

Автотест, созданный в системе, будет автоматически отмечен как нестабильный.

Обновлено:
Назад
Добавление автотестов в Test IT из внешнего репозитория
Далее
Связывание автотестов с ручными тестами