Test IT

Test IT CLI - это утилита командной строки, которая поможет вам взаимодействовать с системой управления тестированием Test IT. Она позволяет легко и быстро собирать и загружать результаты ваших автоматизированных тестов, работать с любыми тестовымми фреймфорками и интегрировать их в считаные минуты.

Test IT CLI распространяется как Python пакет и очень легко устанавливается на любые платформы (Linux, Windows и macOS) и любые окружения (отдельные сервера, контейнеры docker, CI/CD системы и т.д. )

Основные преимущества

  • Простая и быстрая загрузка результатов автоматизированных тестов
  • Простая интеграция с CI/CD системами, такими как GitHub, GitLab, Jenkins и другими
  • Работа с любыми тестовыми фреймворками, которые поддерживают формат Junit XML
  • Поддержка параллельного запуска тестов
  • Легкая установка на любые платфоры и окружения

Установка

Для начала работы с Test IT CLI установите пакет testit-cli из официального Python репозитория. После установки у вас появится возможность использовать утилиту testit из командной строки.

Для установки выполните команду:

$ pip install testit-cli
$ testit -h

usage: testit [options]
[...]

Большинство систем и окружений уже сожержат установленый Python. Если Python отсутствует в вашей ситеме или окружении, то установите его согласно официальной документацииopen in new window.

Загрузка первых результатов выполнения тестов

После установки Test IT CLI вы можете загрузить результаты выполнения автоматизированных тестов в систему управления тестированием Test IT.

Для загрузки результатов запустите автоматизированные тесты с опцией экспортирования отчета в формате Junit XML. Данный отчет является стандартном для обмена результатами между утилитами тестирования, а так же CI/CD системами. Вы можете ознакомится с многими примерами экспорта Junit XML отчета для тестовых фреймворков.

После получения Junit XML отчета используйте Test IT CLI со следующими параметрами:

$ export TMS_TOKEN=<YOUR_TOKEN>
$ testit \
  --url <YOUR_INSTANCE_URL> \
  --project-id 5236eb3f-7c05-46f9-a609-dc0278896464 \
  --configuration-id 15dbb164-c1aa-4cbf-830c-8c01ae14f4fb \
  --testrun-name "TestNG test run" \
  --results results/report.xml
  • <YOUR_TOKEN> - Приватный токен, сгенерированный в вашем профиле Test IT,
  • <YOUR_INSTANCE_URL> - адрес вашей системы Test IT, к примеру, https://tms.testit.software/
Пример выполнения команды
Collecting log files ...
Found 6 result file with a total of 14 tests
Created new testrun (ID: 4eeead72-b88a-4845-b258-3d077065561b)
Sending test results to Test IT ...
Uploading: 100%|██████████| 14/14 [00:06<00:00,  2.09it/s]
Successfully sent test results
Completed testrun (ID: 4eeead72-b88a-4845-b258-3d077065561b)

Параметры запуска Test IT CLI

Используйте команду testit --help для получения полной справки о доступных параметрах.

$ testit --help
usage: testit [options]

This tool is the command line wrapper of Test IT allowing you to upload the test results in real time to Test IT

optional arguments:
  -h, --help            show this help message and exit
  -m {import,create,finish,upload}, --mode {import,create,finish,upload}
                        Set CLI mode
  -u https://demo.testit.software, --url https://demo.testit.software
                        Set url address of the Test IT instance
  -t T2lKd2pLZGI4WHRhaVZUejNl, --token T2lKd2pLZGI4WHRhaVZUejNl
                        Set API token
  -pi 5236eb3f-7c05-46f9-a609-dc0278896464, --project-id 5236eb3f-7c05-46f9-a609-dc0278896464
                        Set project id
  -ci 15dbb164-c1aa-4cbf-830c-8c01ae14f4fb, --configuration-id 15dbb164-c1aa-4cbf-830c-8c01ae14f4fb
                        Set configuration id
  -ti 3802f329-190c-4617-8bb0-2c3696abeb8f, --testrun-id 3802f329-190c-4617-8bb0-2c3696abeb8f
                        Set test run id
  -tn TestRun01, --testrun-name TestRun01
                        Set test run name
  -r DIR, --results DIR
                        Set directory with results file
  -d, --debug           Set debug logs
  -o FILE, --output FILE
                        Set file path for output

Описание параметров

  • --mode, -m : задает режим работы утилиты. По умолчанию используется import.
  • --url, -u : задает адрес вашей системы Test IT, к примеру, https://tms.testit.software/
  • --token, -t : задает приватный токен, сгенерированный в вашем профиле Test IT. Можно указывать как параметр или переменная окружения TMS_TOKEN
  • --project-id, -pi : задачет id проекта, в который будут загружены тесты
  • --configuration-id, -ci : задает id конфигурации, на которой выполнялись тесты
  • --testrun-id, -ti : задает id тестрана, в который будут загружены результаты или который необходимо будет пометить завершенным
  • --testrun-name, -tn : задает название тестрана
  • --results, -r : задает путь до директории или файла с результатами выполнения тестов
  • --output, -o : задает путь до файла, в который будет сохранен id созданого тестрана
  • --debug, -d : включает расширеный редим логгирования

Режимы работы

Test IT CLI поддерживает несколько режимов работы:

Стандартный запуск

Данный режим позволяет с помощью одной команды загрузить результаты выполнения тестов и используется по умолчанию.

Сначала осуществляется сбор информации из Junit XML отчета о пройденых тестах. Далее если не указан testrun_id то создается новый тест ран, в который загружаются все результаты. После загрузки тест ран помечается как завершенный.

Пример выполнения команды
# загрузка результатов в новый тестран
$ testit \
  --url https://tms.testit.software \
  --project-id 5236eb3f-7c05-46f9-a609-dc0278896464 \
  --configuration-id 15dbb164-c1aa-4cbf-830c-8c01ae14f4fb \
  --testrun-name "New test run" \
  --results results/report.xml

# загрузка результатов в существующий тестран
$ testit \
  --url https://tms.testit.software \
  --project-id 5236eb3f-7c05-46f9-a609-dc0278896464 \
  --configuration-id 15dbb164-c1aa-4cbf-830c-8c01ae14f4fb \
  --testrun-id da02746b-7734-4220-a7f3-126d9f291317 \
  --results results/report.xml

Параллельный запуск

Данный режим позволяет загружать результаты тестов при параллельном запуске тестов.

Последовательность действий состоит из нескольких шагов:

  1. Создание нового тестрана
    $ export TMS_TOKEN=<YOUR_TOKEN>
$ testit \
  --mode create
  --url https://tms.testit.software \
  --project-id 5236eb3f-7c05-46f9-a609-dc0278896464 \
  --testrun-name "New test run" \
  --output tmp/output.txt
  2. Загрузка результатов из разных потоков
    $ export TMS_TOKEN=<YOUR_TOKEN>
$ testit \
  --mode upload
  --url https://tms.testit.software \
  --configuration-id 15dbb164-c1aa-4cbf-830c-8c01ae14f4fb \
  --testrun-id $(cat tmp/output.txt) \
  --results results/report.xml
  3. Завершение тестрана
    $ export TMS_TOKEN=<YOUR_TOKEN>
$ testit \
  --mode finish
  --url https://tms.testit.software \
  --testrun-id $(cat tmp/output.txt) \

Дополнительные ресурсы

Мы заботливо оставили ниже полезные материалы, чтобы вы смогли в полной мере оценить всё удобство и возможности взаимодействия с нашей системой управления тестированием 😉.