ddadminandClaude Opus 5
63c42bc068
Зачем: рядом с кластером ClickHouse не хватало остальной платформы, а поднимать её по кускам — значит каждый раз вспоминать порядок. Теперь `make up` даёт стенд целиком, а `make smoke` честно отвечает, работает он или нет. Что: - Kafka в режиме KRaft (без ZooKeeper), Postgres под метаданные, Airflow 3.3 четырьмя сервисами и Superset 6.1 с драйверами ClickHouse; - мониторинг: Prometheus снимает метрики с обеих нод ClickHouse и keeper, Grafana получает подготовленный источник данных; - подключение Airflow ведёт на ноду 1, подключение Superset — на ноду 2: ловушка правильных ошибок, забытый `ON CLUSTER` виден в дашборде сам; - `scripts/stand-smoke.sh` — сквозная проверка из 24 пунктов: топик в Kafka, цели Prometheus, запуск примера DAG через API Airflow, проверка подключения Superset и расход памяти против порога 3,4 ГБ; - `make config-test` — статические ворота: Compose, синтаксис Bash и Python, стражи README; стражи smoke проверяют, что отчёт краснеет на сломанном стенде и зеленеет после восстановления; - решения записаны в `docs/adr/0001-stand-services.md`, состав стенда и порядок работы — в README. Проверка: на чистых томах `make clean` → `cp .env.example .env` → `make up` (1 мин 51 с) → `make smoke` — 24 пройдено, 0 ошибок, 2171 MiB. Перезапуск `make down` → `make up` → `make smoke` — 24/0. Также зелены `make config-test` (3/0 и 5/0), `make smoke-cluster` (8/8) и `make smoke-guards` (3/0 и 3/0). Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
24 lines
1.1 KiB
Bash
Executable File
24 lines
1.1 KiB
Bash
Executable File
#!/usr/bin/env bash
|
|
set -euo pipefail
|
|
|
|
# Один сервер, но отдельные владельцы и базы не смешивают метаданные приложений.
|
|
psql --set=ON_ERROR_STOP=1 \
|
|
--set=airflow_user="$AIRFLOW_METADATA_USER" \
|
|
--set=airflow_password="$AIRFLOW_METADATA_PASSWORD" \
|
|
--set=superset_user="$SUPERSET_METADATA_USER" \
|
|
--set=superset_password="$SUPERSET_METADATA_PASSWORD" \
|
|
--username "$POSTGRES_USER" \
|
|
--dbname postgres <<'SQL'
|
|
SELECT format('CREATE ROLE %I LOGIN PASSWORD %L', :'airflow_user', :'airflow_password')
|
|
WHERE NOT EXISTS (SELECT FROM pg_roles WHERE rolname = :'airflow_user') \gexec
|
|
|
|
SELECT format('CREATE ROLE %I LOGIN PASSWORD %L', :'superset_user', :'superset_password')
|
|
WHERE NOT EXISTS (SELECT FROM pg_roles WHERE rolname = :'superset_user') \gexec
|
|
|
|
SELECT format('CREATE DATABASE airflow OWNER %I', :'airflow_user')
|
|
WHERE NOT EXISTS (SELECT FROM pg_database WHERE datname = 'airflow') \gexec
|
|
|
|
SELECT format('CREATE DATABASE superset OWNER %I', :'superset_user')
|
|
WHERE NOT EXISTS (SELECT FROM pg_database WHERE datname = 'superset') \gexec
|
|
SQL
|