docs(generator): уточнены проверки startup-history после review
- Зачем: - backfill-only сценарии не должны советовать проверку, которая требует live seam. - Что: - для backfill/import-only путей указан CHECK_LIVE_SEAM=0. - live-проверка вынесена в generated-history-runtime-check или явно описанный live-путь. - журнал дополнен финальным review и rerun. - Проверка: - финальный chain review rerun APPROVED; git diff --check.
This commit is contained in:
+15
-7
@@ -11,8 +11,9 @@
|
||||
- `make clean` (полная очистка: `down -v --remove-orphans`)
|
||||
- `make generated-history-analytics` (штатный чистый прогон: стартовая история
|
||||
генератора -> Kafka/STG -> ODS -> DDS -> DM -> Superset)
|
||||
- `make generated-history-check` (повторяемая проверка ClickHouse и Superset
|
||||
после прогона стартовой истории)
|
||||
- `CHECK_LIVE_SEAM=0 make generated-history-check` (повторяемая проверка
|
||||
ClickHouse и Superset после прогона только стартовой истории)
|
||||
- `make generated-history-runtime-check` (короткая проверка стыка backfill/live)
|
||||
- `make ddl` (применяет SQL из `sql/ddl/00_databases.sql` и `sql/ddl/*/*.sql` в ClickHouse)
|
||||
- `make data` (архивный путь: заливает `data/*.jsonl` в Kafka; не основной источник аналитики)
|
||||
- `make transform` (запускает batch-процесс ODS -> DDS -> DM)
|
||||
@@ -183,16 +184,16 @@ make generated-history-analytics
|
||||
Она выполняет полный сброс volumes, поднимает ClickHouse и Kafka, применяет DDL,
|
||||
выполняет глагол `backfill`, прогоняет batch STG -> ODS -> DDS -> DM,
|
||||
инициализирует Superset и запускает техническую проверку. Для координатора или
|
||||
CI короткая повторная проверка после уже готового стенда:
|
||||
CI короткая повторная проверка такого готового стенда:
|
||||
|
||||
```bash
|
||||
make generated-history-check
|
||||
CHECK_LIVE_SEAM=0 make generated-history-check
|
||||
```
|
||||
|
||||
По умолчанию команда требует live-строки после `T_end` и проверяет стык
|
||||
backfill/live. Чистый `make generated-history-analytics` отключает эту часть
|
||||
явно, потому что внутри него live-продолжение не запускается. Для ручной
|
||||
backfill-only проверки используйте:
|
||||
проверки только стартовой истории используйте:
|
||||
|
||||
```bash
|
||||
CHECK_LIVE_SEAM=0 make generated-history-check
|
||||
@@ -623,10 +624,17 @@ docker compose restart grafana
|
||||
# Полный чистый путь: генерация -> STG -> ODS -> DDS -> DM -> Superset
|
||||
make generated-history-analytics
|
||||
|
||||
# Повторная техническая проверка без пересоздания данных
|
||||
make generated-history-check
|
||||
# Повторная проверка данных стартовой истории без пересоздания
|
||||
CHECK_LIVE_SEAM=0 make generated-history-check
|
||||
|
||||
# Проверка стыка backfill/live
|
||||
make generated-history-runtime-check
|
||||
```
|
||||
|
||||
Обычный `make generated-history-check` корректен только после
|
||||
`make generator-continue` и повторного `make transform`, когда в витринах уже
|
||||
есть строки после `T_end`.
|
||||
|
||||
## Быстрые проверки
|
||||
|
||||
- Kafka ingest: наличие данных генератора в `stg.*` и типизированных строк в `ods.*`.
|
||||
|
||||
@@ -109,9 +109,13 @@ ARTIFACT=/tmp/clickstream-startup-history.json make startup-history-import
|
||||
sleep 10
|
||||
make transform
|
||||
ARTIFACT=/tmp/clickstream-startup-history.json make startup-history-check
|
||||
make generated-history-check
|
||||
CHECK_LIVE_SEAM=0 make generated-history-check
|
||||
```
|
||||
|
||||
Это путь только импорта: live-строк после `T_end` ещё нет. Стык backfill/live
|
||||
проверяйте через `make generated-history-runtime-check` или после
|
||||
`make generator-continue` и повторного `make transform`.
|
||||
|
||||
Импорт не пишет напрямую в ClickHouse. Он воспроизводит события и служебные
|
||||
compact-топики в Kafka. ClickHouse читает данные через свои Kafka-таблицы и
|
||||
Materialized View, затем batch строит ODS, DDS и DM.
|
||||
|
||||
Reference in New Issue
Block a user