fix(generator): усилены проверки startup-history
- Зачем: - коммит-гейт не запускал корневые контрактные тесты, а часть подтверждённых обходов могла снова смешать разные миры генератора. - Что: - добавлены цели make test, make lint и contract-test с тихим pytest-выводом через Docker. - закрыты обходы через generator-reset, неизвестную версию state и fail-open проверку DM-витрин. - усилены поведенческие контракты CHECK_LIVE_SEAM, профиля manifest и pause-check etl_pipeline; обновлены документы и issue 19. - Проверка: - make test; make lint; git diff --check.
This commit is contained in:
+11
-2
@@ -18,11 +18,19 @@
|
||||
- `make data` (архивный путь: заливает `data/*.jsonl` в Kafka; не основной источник аналитики)
|
||||
- `make transform` (запускает batch-процесс ODS -> DDS -> DM)
|
||||
- `make superset-init` (повторная инициализация Superset: подключение к ClickHouse, датасеты, дашборд)
|
||||
- `make test` (быстрый предкоммитный набор: тесты генератора, верхние
|
||||
контрактные тесты и проверка compose-конфигурации)
|
||||
- `make lint` (статические проверки: синтаксис Python и Bash, compose-конфиг,
|
||||
пробелы в diff)
|
||||
- `docker compose ps`
|
||||
- `docker compose logs -f --tail=200 <service>`
|
||||
- `docker compose down` (сохраняет named volumes, включая `clickhouse-data`)
|
||||
- `docker compose down -v` (удаляет named volumes, использовать осознанно)
|
||||
|
||||
`make test` и `make lint` не заменяют стендовые проверки, которые управляют
|
||||
volumes или live-генератором. Для стыка backfill/live отдельно запускайте
|
||||
`make generated-history-runtime-check`.
|
||||
|
||||
## Порты
|
||||
|
||||
Порты задаются в `docker-compose.yml`:
|
||||
@@ -278,8 +286,9 @@ docker compose exec -T kafka /opt/kafka/bin/kafka-console-consumer.sh \
|
||||
Live-продолжение стартует с этого state. Используйте тот же профиль или ту же
|
||||
длительность, что были у backfill. Команда сама выставит `GEN_STATE_RESET=false`.
|
||||
Если state записан старой версией генератора, запуск теперь падает громко:
|
||||
сначала очистите стенд через `make clean` и пересоздайте историю либо явно
|
||||
начните новый мир через `make generator-reset`.
|
||||
сначала очистите стенд через `make clean` и пересоздайте историю. Команда
|
||||
`make generator-reset` подходит только для осознанного нового live-мира на
|
||||
чистом стенде: она тоже проверяет, что Kafka data-топики и STG пустые.
|
||||
|
||||
```bash
|
||||
PROFILE=daily-wave make generator-continue
|
||||
|
||||
Reference in New Issue
Block a user