Установка в Kubernetes

Требования

Минимальные системные требования

Минимальные системные требования указаны для системы, содержащей до 100 активных пользователей. Чтобы рассчитать требования для большего количества пользователей, обратитесь в техническую поддержку: (support@testit.software).

  • CPU: 4 ядра серверного класса с поддержкой виртуализации и тактовой частотой 2.2 ГГц и выше
  • RAM: 16 ГБ
  • Network: 100 Мбит/с
  • SSD: 100-110 ГБ*
  • SWAP: отключен

* Для хранения аналитических данных ClickHouse может дополнительно использовать до 10 ГБ (в версии 5.7 и более поздних).

Требования к программному обеспечению

  • Установленный в кластере ingress-контроллер, например Nginx Ingress Controller
  • Настроенный поставщик Persistent Volumes
  • Наличие Kubectl
  • Наличие Helm версии 3.10.0 или более поздней

Установка Test IT 6.0

Установка

  1. Скачайте дистрибутив Test IT.
  2. Распакуйте содержимое архива автономной установки, например, в папку test_it.
  3. В терминале откройте папку airbyte.
  4. Установите Airbyte, применив команды:
    helm repo add airbyte https://airbytehq.github.io/charts
helm repo update
helm install airbyte airbyte/airbyte --namespace airbyte --version 2.1.0
    Дождитесь выполнения команды (установка может занять около 20 минут).
  5. Получите пароль администратора и ключи Client-ID и Client-Secret. Для этого примените команду:
    kubectl.exe -n airbyte get secrets airbyte-auth-secrets -o yaml
    Ключи и пароль отобразятся в Base64, их нужно будет декодировать.
  6. Декодируйте пароль и ключи Client-ID и Client-Secret с помощью сайта https://www.base64decode.org/ или другого сервиса.
    • Альтернатива для Linux: Примените команду:
      echo -n "ключ в base64" | base64 -d
      Отобразятся ключи Client-ID и Client-Secret.
  7. Скопируйте полученные ключи и сохраните пароль администратора.
  8. В распакованной папке test_it откройте файл values-override.yaml и вставьте полученные ключи:
    AIRBYTE_CLIENT_ID=3a8297be-3683-43a8-9c15-64a48f494935
AIRBYTE_SECRET=JQiN5F5f9I5QfH9xWNflmKQpl0qiZuDt
  9. Сгенерируйте секретный ключ — SUPERSET_SECRET_KEY:
Windows
  • В Powershell примените команду:
    $bytes = New-Object Byte[] 42; (New-Object System.Security.Cryptography.RNGCryptoServiceProvider).GetBytes($bytes); [Convert]::ToBase64String($bytes)
    Скопируйте полученный ключ.
  1. В файл values-override.yaml вставьте полученный ключ в поле:
    SUPERSET_SECRET_KEY=скопированный секретный ключ
  2. Сохраните файл values-override.yaml.
  3. Если ClickHouse находится на другом хосте (не вместе с tms), замените переменные:
    • CLICKHOUSE_DB_PORT
    • CLICKHOUSE_DB_HOST
    • CLICKHOUSE_DB_NAME
    • CLICKHOUSE_DB_USER
    • CLICKHOUSE_DB_PASS
  4. Если Superset находится на другом хосте (не вместе с tms), замените переменные:
    • SUPERSET_URL
    • SUPERSET_PORT
    • SUPERSET_DB_HOST
    • SUPERSET_DB_PORT
    • SUPERSET_DB_USER
    • SUPERSET_DB_NAME
    • SUPERSET_DB_PASS
    • SUPERSET_ADMIN_USER
    • SUPERSET_ADMIN_PASSWORD
    • REDIS_HOST
    • SUPERSET_APP_ROOT
  5. Откройте файл values.yaml и задайте SERVICE_ADMIN_PASSWORD:
    secrets:
   SERVICE_ADMIN_PASSWORD: ""
  6. Сохраните файл values.yaml.
  7. Запустите установку Test IT с помощью команды:
    helm upgrade --install -f testit_unichart/values-override.yaml -n <my-namespace> --create-namespace testit testit_unichart/ --wait --timeout 20m
    Дождитесь окончания процесса.

Вход в Airbyte и инициализация логина через port-forward

  1. В терминале выполните команду:
    kubectl -n <ВАШ_NAMESPACE> port-forward deployment/airbyte-server 8080:8001
    где:
    • <ВАШ_NAMESPACE> — namespace (пространство имен), в который установлен Airbyte (обычно airbyte или airbyte-abctl)
    • 8080 — порт на вашем локальном компьютере (можно выбрать любой свободный)
    • 8001 — порт, на котором работает веб-сервер Airbyte внутри пода
  2. Откройте в браузере http://127.0.0.1:8080 или ваш порт.
  3. На странице входа введите:
    • Email: по умолчанию используется airbyte (если вы не меняли настройки).
    • Password: пароль администратора (см. Установка в Kubernetes, шаги 5-7).
      После успешного входа вы попадете в рабочую область Airbyte.

В Airbyte вы можете настроить собственные ETL-процессы (например, подключить внешние сервисы).
Подробнее: официальная документация Airbyte.

Установка Test IT 5.8 и более ранних версий

Состав поставки

  • Содержимое сборки:
    • testit_unichart/ — Helm chart для развертывания продукта
    • scripts/ — папка, содержащая вспомогательные скрипты
    • jobs/ — папка, содержащая вспомогательные объекты K8S
  • Содержимое чарта:
    • templates/ — шаблоны объектов K8S
    • files/ — конфигурационные файлы для компонентов продукта
    • Chart.yaml — основной конфигурационный файл чарта
    • values.yaml — настройки компонентов и переменных по умолчанию
    • values-override.yaml — опциональный файл для переопределения настроек из values.yaml
    • values-ssl.yaml— пример переопределения для включения внутреннего SSL

Установка приложения

  1. Распакуйте файлы приложений с помощью команды:

    unzip <testit_archive_name> -d <installation_folder>

  2. В файле values-override.yaml установите значения переменной в пункте general.secrets, используя те же отступы и иерархию, что и в файле values.yaml.

    • Обязательная переменная: SERVICE_ADMIN_PASSWORD — служебный пароль для взаимодействия сервисов между собой. Значение должно содержать не менее 6 символов, заглавные и строчные латинские буквы и цифры.

  3. Установите приложение с помощью команды (выберите свою версию Test IT с помощью вкладок):

    Test IT 5.3 и версии позднее
    cd <installation_folder>
helm upgrade --install -f testit_unichart/values-override.yaml -n <my-namespace> --create-namespace testit testit_unichart/ --wait --timeout 10m
# Дождитесь начала работы всех компонентов продукта.
watch -n 1 kubectl -n <my-namespace> get pods

  4. Перейдите в приложение, используя адрес, указанный во .frontend.ingress.main.host в testit_unichart/values.yaml или testit_unichart/values-override.yaml :

    # testit_frontend/values.yaml или testit_frontend/values-override.yaml
#---
frontend:
  #---
  ingress:
    main:
      host: "my.hostname.com" # Set the desired hostname you own
   #---
Обновлено: