Установка в Docker Compose

Назовите свой проект

В качестве примера в этой инструкции используется проект с именем testit. Вы можете использовать другое название.

Требования

Минимальные системные требования

Минимальные системные требования указаны для системы, содержащей до 100 активных пользователей. Чтобы рассчитать требования для большего количества пользователей, обратитесь в техническую поддержку: (support@testit.software).

  • CPU: 4 ядра серверного класса с поддержкой виртуализации и тактовой частотой 2.2 ГГц и выше
  • RAM: 16 ГБ
  • Network: 100 Мбит/с
  • SSD: 100-110 ГБ*
  • SWAP: отключен

* Для хранения аналитических данных ClickHouse может дополнительно использовать до 10 ГБ (в версии 5.7 и более поздних).

Требования к программному обеспечению

  • Docker Engine 17.12.0 и выше
  • Docker Compose V2 и выше

Смотрите также: Руководство по установке Docker Compose

Установка Test IT 6.0

Установка

  1. Скачайте дистрибутив Test IT.
  2. Распакуйте содержимое архива автономной установки, например, в папку test_it.
  3. В терминале откройте папку airbyte.
  4. Установите Airbyte (выберите действия для Windows или Linux):
Windows
  • А. На странице GitHub Airbyte скачайте утилиту abctl.
  • Б. Примените команду, указав директорию файла values.yaml:
    abctl local install --values C:\Users\my.pc\Desktop\Tectrl\internal_testit_v6.0.-superset\scripts\airbyte\values.yaml
// Допустимо указывать директорию в кавычках: "C:\Users\my.pc\Desktop\Tectrl\internal_testit_v6.0.-superset\scripts\airbyte\values.yaml"
    Дождитесь выполнения команды (установка может занять около 20 минут).
  • В. Получите ключи Client-ID и Client-Secret, применив команду:
    abctl local credentials
    Дождитесь выполнения команды (установка может занять около 20 минут).
  1. Скопируйте полученные ключи. Пароль понадобится при авторизации через веб-интерфейс.
  2. В распакованной папке test_it откройте .env-файл и вставьте полученные ключи:
    AIRBYTE_CLIENT_ID=3a8297be-3683-43a8-9c15-64a48f494935
AIRBYTE_SECRET=JQiN5F5f9I5QfH9xWNflmKQpl0qiZuDt
  3. Сгенерируйте секретный ключ — SECRET_KEY, применив команду bash:
    openssl rand -base64 42
    Скопируйте полученный ключ.
  4. В .env-файл вставьте полученный ключ в поле:
    SUPERSET_SECRET_KEY=скопированный секретный ключ
  5. В .env-файле задайте пароль SERVICE_ADMIN_PASSWORD.
  6. Сохраните .env-файл.
  7. Создайте сеть testit_network:
    docker network create testit_network
  8. В терминале откройте папку test_it и примените команду:
    docker compose -f docker-compose.etl.yml up -d
    Появится контейнер Docker. Дождитесь окончания процесса. Приложение установлено и готово к работе.

Вход в Airbyte и инициализация логина

После успешной установки Airbyte автоматически откроет в браузере страницу http://localhost:8000 или другой порт, указанный вами при установке.

  1. При первом запуске укажите:
    • Электронную почту (указанный адрес будет вашим логином).
    • Название организации
    • Пароль
  2. Для авторизации в веб-интерфейсе используйте пароль, полученный при установке на 4 шаге.

В Airbyte вы можете настроить собственные ETL-процессы (например, подключить внешние сервисы).
Подробнее: официальная документация Airbyte.

Установка Test IT 5.8 и более ранних версий

Состав поставки

  • .env — конфигурационный файл, содержащий переменные, используемые для обращения к контейнерам Test IT
  • docker-compose.yml — конфигурационный файл Docker Compose
  • docker-compose.elk.yml — конфигурационный файл Docker Compose с базами данных Elasticsearch, Logstash и Kibana
  • backup.sh — скрипт запуска резервного копирования
  • restore.sh — скрипт восстановления из резервной копии
  • images.tar.gz — архив с образами (только в архиве для автономной установки)
  • images.tar.gz — архив с образами (только в архиве для автономной установки)
  • postgres-init.sql — инициализационный файл для контейнера базы данных

Подготовка

  1. Измените значения переменных по умолчанию в .env-файле.
  2. Задайте параметры vm.max_map_count=262144 и vm.overcommit_memory=1:
     echo 'vm.max_map_count=262144' >> /etc/sysctl.conf
 echo 'vm.overcommit_memory = 1' >> /etc/sysctl.conf
 sysctl -p
  3. Заблокируйте все порты, кроме порта 80, необходимого для доступа к пользовательскому интерфейсу.
  4. Опционально: для обслуживания системы посредством протокола SSH, необходимо открыть порт 22 (может быть переназначено на конкретной конфигурации). Для работы по HTTPS необходимо открыть порт 443. Пример открытия доступа к портам для CentOS 7:
     firewall-cmd --zone=public --add-port=80/tcp --permanent
 firewall-cmd --zone=public --add-port=22/tcp --permanent
 firewall-cmd --zone=public --add-port=443/tcp --permanent
 firewall-cmd --reload
  5. Опционально: включите логирование пользовательских действий. По умолчанию оно отключено.

Автономная установка

Данный тип установки поможет установить продукт, если сервер изолирован от сети Internet и нет возможности получить Docker образы с публичных репозиториев.

  1. Скачайте дистрибутив со страницы загрузок.
  2. Распакуйте содержимое архива автономной установки, например в папку ~/testit.
  3. Выполните следующие команды:
    Для версий до v5.2.0:
    cd ~/testit
docker load -i images.tar.gz
docker network create yoonion_network
docker compose -f docker-compose.yml --project-name testit up --detach --timeout 120
    Начиная с версии v5.2.0:
    cd ~/testit
mkdir images
tar -zxvf images.tar.gz -C images
for file in $(ls images/*.tar); do docker image load -i $file; done
docker network create yoonion_network
docker compose -f docker-compose.yml --project-name testit up --detach --timeout 120

Установка онлайн

  1. Скачайте файлы online-установки со страницы загрузок.
  2. Распакуйте содержимое архива online-установки, например в папку ~/testit.
  3. Выполните следующие команды:
    cd ~/testit
docker network create yoonion_network
docker compose -f docker-compose.yml --project-name testit up --detach --timeout 120
Обновлено: