ddadmin
fc5244cc67
- Зачем: - Compose должен поднимать инфраструктуру, а Airflow — владеть прикладным миром. - Что: - добавлены даги создания и пересоздания мира с явными состояниями позиции; - цели make переведены на REST API Airflow, старые одноразовые службы удалены; - добавлена ограниченная учётная запись ClickHouse для прикладного DDL. - Проверка: - `make lint`, `make config-test`, `bash -n scripts/run-dag.sh infra/airflow/init.sh`; - `make lint` и `make typecheck` в `generator/`; - холодный `make up`, повторный `make up`, `make rebuild-storage` и сценарий оборванной очистки; - `make smoke`, `make check-clickhouse`, `make check-services`.
42 lines
1.8 KiB
Bash
42 lines
1.8 KiB
Bash
# Имя и внешние порты меняют для второй копии стенда или при конфликте.
|
|
COMPOSE_PROJECT_NAME=clickstream-data-platform
|
|
CLICKHOUSE_01_HTTP_PORT=28123
|
|
CLICKHOUSE_01_TCP_PORT=29000
|
|
CLICKHOUSE_02_HTTP_PORT=28124
|
|
CLICKHOUSE_02_TCP_PORT=29001
|
|
CLICKHOUSE_CLUSTER_SECRET=cluster-26-secret
|
|
CLICKHOUSE_DEFAULT_PASSWORD=default-26-local
|
|
CLICKHOUSE_ETL_PASSWORD=etl-26-writer
|
|
CLICKHOUSE_LIFECYCLE_PASSWORD=lifecycle-26-owner
|
|
CLICKHOUSE_BI_PASSWORD=bi-26-reader
|
|
CLICKHOUSE_ANALYST_PASSWORD=analyst-26-reader
|
|
CLICKHOUSE_GRAFANA_PASSWORD=grafana-26-reader
|
|
KAFKA_EXTERNAL_PORT=29092
|
|
PROMETHEUS_PORT=29090
|
|
GRAFANA_PORT=23000
|
|
AIRFLOW_PORT=28080
|
|
SUPERSET_PORT=28088
|
|
|
|
# GID группы `docker` на этой машине: без него планировщик Airflow не достучится
|
|
# до сокета докера, и пульт мира не поднимет контейнер генератора.
|
|
# Подсмотреть свой — `getent group docker`.
|
|
DOCKER_GID=127
|
|
|
|
# Учётные данные и ключи учебного стенда. Для VPS замените значения образца.
|
|
GRAFANA_ADMIN_USER=admin
|
|
GRAFANA_ADMIN_PASSWORD=admin
|
|
POSTGRES_ADMIN_USER=postgres
|
|
POSTGRES_ADMIN_PASSWORD=postgres-local
|
|
AIRFLOW_METADATA_USER=airflow
|
|
AIRFLOW_METADATA_PASSWORD=airflow-local
|
|
SUPERSET_METADATA_USER=superset
|
|
SUPERSET_METADATA_PASSWORD=superset-local
|
|
AIRFLOW_ADMIN_USER=admin
|
|
AIRFLOW_ADMIN_PASSWORD=airflow
|
|
AIRFLOW_JWT_SECRET=local-only-airflow-jwt-secret-do-not-use
|
|
AIRFLOW_API_SECRET_KEY=local-only-airflow-api-secret-do-not-use
|
|
AIRFLOW_FERNET_KEY=AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=
|
|
SUPERSET_ADMIN_USER=admin
|
|
SUPERSET_ADMIN_PASSWORD=superset
|
|
SUPERSET_SECRET_KEY=local-only-superset-secret-do-not-use-outside-this-stand
|