ddadminandClaude Fable 5
10ee1a1cb6
- Зачем:
- менти собирал мир генерацией (минуты и десятки минут CPU); теперь
готовый трёхдневный мир загружается импортом за ~2 минуты, и числа
у всех менти совпадают число-в-число (issue #3).
- Что:
- артефакт data/startup_history/reference-world.json.xz в git:
3 модельных дня daily-wave, ~850 МБ JSON → 32 МБ xz;
- чтение и запись артефакта понимают .xz потоково (lzma); пустое поле
artifact_path в пульте и make startup-history-import читают эталон;
- длительность профиля daily-wave стала 3d — в тон эталонному миру;
- предпроверка чистого стенда ставит зависимости генератора через uv;
экспорт и импорт разведены отдельными переменными Makefile;
- доки и runbook обновлены; новые контрактные тесты: xz round-trip
и дефолтные пути артефакта.
- Проверка:
- make test (210 + 31) и make lint зелёные; импорт на чистом стенде
за 2м03с, manifest совпал (280437 событий), Superset-проверка
зелёная; независимое ревью — APPROVED.
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
73 lines
2.5 KiB
Bash
Executable File
73 lines
2.5 KiB
Bash
Executable File
#!/usr/bin/env bash
|
|
#
|
|
# Импортирует портативный артефакт стартовой истории в Kafka.
|
|
|
|
set -euo pipefail
|
|
|
|
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
|
REPO_ROOT="$(cd "${SCRIPT_DIR}/.." && pwd)"
|
|
|
|
COMPOSE_BIN="${COMPOSE_BIN:-docker compose}"
|
|
ARTIFACT="${ARTIFACT:-data/startup_history/reference-world.json.xz}"
|
|
PROFILE="${PROFILE:-${GEN_LAUNCH_PROFILE:-daily-wave}}"
|
|
duration_args=()
|
|
if [[ -n "${GEN_HISTORY_DURATION:-}" ]]; then
|
|
duration_args=(--duration "${GEN_HISTORY_DURATION}")
|
|
fi
|
|
|
|
cd "${REPO_ROOT}"
|
|
|
|
launch_env="$(
|
|
PYTHONPATH="${REPO_ROOT}/generator/src" \
|
|
uv run python -m clickstream_generator.launch \
|
|
continue \
|
|
--profile "${PROFILE}" \
|
|
"${duration_args[@]}"
|
|
)"
|
|
eval "${launch_env}"
|
|
|
|
if [[ ! -s "${ARTIFACT}" ]]; then
|
|
echo "Ошибка: артефакт не найден или пуст: ${ARTIFACT}" >&2
|
|
exit 1
|
|
fi
|
|
|
|
ARTIFACT_DIR="$(cd "$(dirname "${ARTIFACT}")" && pwd)"
|
|
ARTIFACT_FILE="$(basename "${ARTIFACT}")"
|
|
|
|
echo "=== Импорт стартовой истории ==="
|
|
echo "ARTIFACT=${ARTIFACT}"
|
|
echo "GEN_LAUNCH_PROFILE=${GEN_LAUNCH_PROFILE}"
|
|
echo "GEN_HISTORY_DURATION=${GEN_HISTORY_DURATION}"
|
|
echo "GEN_SEED=${GEN_SEED}"
|
|
echo "GEN_MODEL_T0=${GEN_MODEL_T0}"
|
|
echo "GEN_MODEL_T_END=${GEN_MODEL_T_END}"
|
|
echo ""
|
|
|
|
echo "Шаг 1: запуск Kafka и ClickHouse"
|
|
${COMPOSE_BIN} up -d kafka clickhouse
|
|
|
|
echo "Шаг 2: предпроверка чистого стенда"
|
|
bash "${SCRIPT_DIR}/assert_stand_clean.sh" clean
|
|
|
|
echo "Шаг 3: сборка образа генератора"
|
|
${COMPOSE_BIN} build generator
|
|
|
|
echo "Шаг 4: воспроизведение артефакта в Kafka"
|
|
${COMPOSE_BIN} run --rm --no-deps \
|
|
-v "${ARTIFACT_DIR}:/startup-artifacts:ro" \
|
|
-e GEN_LAUNCH_PROFILE="${GEN_LAUNCH_PROFILE}" \
|
|
-e GEN_SEED="${GEN_SEED}" \
|
|
-e GEN_MODEL_T0="${GEN_MODEL_T0}" \
|
|
-e GEN_MODEL_T_END="${GEN_MODEL_T_END}" \
|
|
-e GEN_MODEL_TIMEZONE="${GEN_MODEL_TIMEZONE}" \
|
|
-e GEN_MODEL_TIME_SPEED="${GEN_MODEL_TIME_SPEED}" \
|
|
-e GEN_TICK_SECONDS="${GEN_TICK_SECONDS}" \
|
|
-e GEN_LAMBDA_BASE_PER_MIN="${GEN_LAMBDA_BASE_PER_MIN}" \
|
|
-e GEN_JITTER_PCT="${GEN_JITTER_PCT}" \
|
|
-e GEN_MIN_EVENTS_PER_TICK="${GEN_MIN_EVENTS_PER_TICK}" \
|
|
-e GEN_MAX_EVENTS_PER_TICK="${GEN_MAX_EVENTS_PER_TICK}" \
|
|
generator python -m clickstream_generator.startup_history_artifact import \
|
|
--artifact "/startup-artifacts/${ARTIFACT_FILE}"
|
|
|
|
echo "Готово: артефакт воспроизведён в Kafka."
|