feat(generator): эталонный мир в git и import по умолчанию
- Зачем:
- менти собирал мир генерацией (минуты и десятки минут CPU); теперь
готовый трёхдневный мир загружается импортом за ~2 минуты, и числа
у всех менти совпадают число-в-число (issue #3).
- Что:
- артефакт data/startup_history/reference-world.json.xz в git:
3 модельных дня daily-wave, ~850 МБ JSON → 32 МБ xz;
- чтение и запись артефакта понимают .xz потоково (lzma); пустое поле
artifact_path в пульте и make startup-history-import читают эталон;
- длительность профиля daily-wave стала 3d — в тон эталонному миру;
- предпроверка чистого стенда ставит зависимости генератора через uv;
экспорт и импорт разведены отдельными переменными Makefile;
- доки и runbook обновлены; новые контрактные тесты: xz round-trip
и дефолтные пути артефакта.
- Проверка:
- make test (210 + 31) и make lint зелёные; импорт на чистом стенде
за 2м03с, manifest совпал (280437 событий), Superset-проверка
зелёная; независимое ревью — APPROVED.
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
@@ -26,7 +26,8 @@ fi
|
||||
if [[ "${CHECK_MODE}" == "clean" ]]; then
|
||||
echo "Предпроверка: live-генератор не должен быть запущен."
|
||||
PYTHONPATH="${REPO_ROOT}/generator/src" \
|
||||
uv run python -m clickstream_generator.stand_clean \
|
||||
uv run --with-requirements generator/requirements.txt \
|
||||
python -m clickstream_generator.stand_clean \
|
||||
--mode live \
|
||||
--live-metrics-url "${GENERATOR_METRICS_URL_HOST}"
|
||||
fi
|
||||
@@ -54,7 +55,8 @@ fi
|
||||
KAFKA_BOOTSTRAP_SERVERS="${KAFKA_BOOTSTRAP_SERVERS_HOST}" \
|
||||
GEN_DATA_DIR="${REPO_ROOT}/data" \
|
||||
PYTHONPATH="${REPO_ROOT}/generator/src" \
|
||||
uv run python -m clickstream_generator.stand_clean \
|
||||
uv run --with-requirements generator/requirements.txt \
|
||||
python -m clickstream_generator.stand_clean \
|
||||
--mode "${CHECK_MODE}" \
|
||||
--kafka-bootstrap-servers "${KAFKA_BOOTSTRAP_SERVERS_HOST}" \
|
||||
--stg-counts "${stg_counts}"
|
||||
|
||||
Reference in New Issue
Block a user