feat(world): жизненный цикл передан Airflow
- Зачем: - Compose должен поднимать инфраструктуру, а Airflow — владеть прикладным миром. - Что: - добавлены даги создания и пересоздания мира с явными состояниями позиции; - цели make переведены на REST API Airflow, старые одноразовые службы удалены; - добавлена ограниченная учётная запись ClickHouse для прикладного DDL. - Проверка: - `make lint`, `make config-test`, `bash -n scripts/run-dag.sh infra/airflow/init.sh`; - `make lint` и `make typecheck` в `generator/`; - холодный `make up`, повторный `make up`, `make rebuild-storage` и сценарий оборванной очистки; - `make smoke`, `make check-clickhouse`, `make check-services`.
This commit is contained in:
1 parent
0340b060f2
commit
fc5244cc67
14 files changed
+619
-338
No files matched your search
@@ -49,9 +49,9 @@ from clickstream_generator import serialize, world
|
||||
from clickstream_generator.catalog import CATALOG_PATH
|
||||
from clickstream_generator.seeds import CANONICAL_SEED
|
||||
|
||||
# Сколько дней оси заливается в стенд при подъёме. То же число стоит у службы
|
||||
# `world-init` в compose.yaml: YAML не читает Python, и одно из двух мест —
|
||||
# лишнее по построению. Расхождение поймают счётчики make check-clickhouse.
|
||||
# Сколько дней оси описывает стартовый мир. То же число Airflow получает из
|
||||
# compose.yaml: YAML не читает Python, и одно из двух мест лишнее по построению.
|
||||
# Расхождение поймают счётчики make check-clickhouse.
|
||||
STARTING_DAYS = 8
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user