ddadmin
e5c573bb25
- Зачем:
- две линии ревью нашли, что колонки панели брака читаются как
непересекающиеся кучи, «вовремя ли» из ADR 0002 не считается вовсе, а
отказ от ряда «против вчерашнего» нигде не записан рядом с решением.
- Что:
- в панели брака столбец назван «Из них в брак»: брак — часть приехавшего,
а не соседняя куча.
- панель слепка считает паузу после прошлого слепка — это и есть «вовремя
ли» из ADR 0002; пустая пауза у самого раннего слепка держится
обнуляемым типом.
- отказ от ряда «против вчерашнего» записан в ADR 0002 и в monitoring.md с
доводом: сдвиг на модельные сутки прописал бы ускорение мира в JSON.
- в monitoring.md сказано, почему свежесть читает физическую _dist, а не
ods.*_v, и почему панель слепка не знает окна; довод про сломанный JSON
оставлен у кода, а не задвоен в доке.
- README больше не утверждает, что панелей нет.
- у разбора дашбордов убран флаг -e: он обещал утверждение, которого нет.
- Проверка:
- make config-test (краснеет на нарочно сломанном JSON дашборда), make lint,
make smoke 21/21, make check-clickhouse 10/10; все шесть панелей отвечают
через /api/ds/query. Опыты приёмки и их следы — monitoring.md,
«Что проверено».
79 lines
3.9 KiB
Bash
Executable File
79 lines
3.9 KiB
Bash
Executable File
#!/usr/bin/env bash
|
|
set -euo pipefail
|
|
|
|
readonly ROOT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
|
read -r -a COMPOSE_CMD <<<"${COMPOSE_BIN:-docker compose}"
|
|
readonly CACHE_DIR="$(mktemp -d)"
|
|
|
|
cleanup() {
|
|
rm -rf "$CACHE_DIR"
|
|
}
|
|
|
|
trap cleanup EXIT
|
|
|
|
"${COMPOSE_CMD[@]}" \
|
|
--project-directory "$ROOT_DIR" \
|
|
--env-file "$ROOT_DIR/.env.example" \
|
|
config --quiet
|
|
config_json="$(
|
|
"${COMPOSE_CMD[@]}" \
|
|
--project-directory "$ROOT_DIR" \
|
|
--env-file "$ROOT_DIR/.env.example" \
|
|
config --format json
|
|
)"
|
|
# Контекст сборки образов — корень репозитория, и локальный `.env` с настоящими
|
|
# паролями уехал бы в слой образа молча. Это единственная здешняя ошибка, о
|
|
# которой никто не узнает, пока образ не окажется у чужого.
|
|
for private_path in '.env' '.env.*' '*.pem' '*.key' '*.crt' 'secrets/' 'credentials/'; do
|
|
grep -qxF "$private_path" "$ROOT_DIR/.dockerignore"
|
|
done
|
|
jq -e '
|
|
.services.superset.image == "clickstream-superset:local"
|
|
' >/dev/null <<<"$config_json"
|
|
jq -e '
|
|
.services.grafana.image == "clickstream-grafana:local" and
|
|
any(
|
|
.services.grafana.volumes[];
|
|
(.source | endswith("/infra/grafana/provisioning/dashboards")) and
|
|
.target == "/etc/grafana/provisioning/dashboards" and
|
|
.read_only == true
|
|
)
|
|
' >/dev/null <<<"$config_json"
|
|
jq -e '
|
|
.services.grafana.environment.CLICKHOUSE_GRAFANA_PASSWORD as $password |
|
|
($password | length > 0) and
|
|
.services["clickhouse-01"].environment.CLICKHOUSE_GRAFANA_PASSWORD == $password and
|
|
.services["clickhouse-02"].environment.CLICKHOUSE_GRAFANA_PASSWORD == $password
|
|
' >/dev/null <<<"$config_json"
|
|
jq -e '
|
|
.services["kafka-exporter"].image == "danielqsj/kafka-exporter:v1.9.0" and
|
|
.services["kafka-exporter"].command == ["--kafka.server=kafka:9092"] and
|
|
.services["kafka-exporter"].depends_on.kafka.condition == "service_healthy"
|
|
' >/dev/null <<<"$config_json"
|
|
jq -e '
|
|
.services["airflow-init"].image == "clickstream-airflow:local" and
|
|
all(
|
|
.services[];
|
|
((.environment // {}) | has("_PIP_ADDITIONAL_REQUIREMENTS") | not)
|
|
)
|
|
' >/dev/null <<<"$config_json"
|
|
jq -e '
|
|
.services["airflow-init"] as $service |
|
|
($service.environment.AIRFLOW__CORE__SIMPLE_AUTH_MANAGER_PASSWORDS_FILE ==
|
|
"/opt/airflow/auth/simple_auth_manager_passwords.json") and
|
|
any($service.volumes[]; .source == "airflow_auth" and .target == "/opt/airflow/auth") and
|
|
any($service.volumes[]; .source == "airflow_logs" and .target == "/opt/airflow/logs")
|
|
' >/dev/null <<<"$config_json"
|
|
# Файлы DAG на машине никто не запускает: их разбирает обработчик внутри
|
|
# контейнера, и синтаксическая ошибка там всплывает не сообщением, а тем, что
|
|
# DAG молча не появился в списке. Локальный разбор — единственная дешёвая
|
|
# обратная связь. Скрипты стенда проверять так незачем: их запускают с этой же
|
|
# машины, и ошибка вылезает при первом же запуске с номером строки.
|
|
PYTHONPYCACHEPREFIX="$CACHE_DIR" uv run --no-project python -m compileall -q "$ROOT_DIR/dags"
|
|
# Дашборды Grafana — тот же случай и тот же довод: сломанный JSON не сообщает о
|
|
# себе, а молча оставляет в интерфейсе прежнюю версию дашборда.
|
|
jq . "$ROOT_DIR"/infra/grafana/provisioning/dashboards/*.json >/dev/null
|
|
git -C "$ROOT_DIR" diff --check
|
|
|
|
printf 'ЗЕЛЁНО: Compose, Python, дашборды и пробельные ошибки diff проверены.\n'
|