feat(generator): дефолт профиля — daily-wave, ci стал служебным
- Зачем:
- менти доставался плоский тестовый профиль ci; учебный профиль
должен быть один — daily-wave с суточной волной (issue #6).
- Что:
- дефолт daily-wave во всех точках: форма пульта generator_control,
launch.py (API и CLI), Config, Makefile, четыре shell-скрипта.
- автопроверки передают ci явно; контрактный тест пульта теперь
проверяет сам дефолт Param профиля (через AST), а не подстроку.
- доки в том же изменении: README, OPERATIONS, TEST_PLAN,
generator/README, runbook startup-history.
- Проверка:
- make test (206 + 31 passed) и make lint — зелёные.
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
+6
-9
@@ -78,7 +78,7 @@ generator-service -> Kafka topics -> (потребители отдельно)
|
||||
| `GEN_MODEL_TIMEZONE` | Часовой пояс модельных часов для дневного коэффициента | `UTC` |
|
||||
| `GEN_MODEL_TIME_SPEED` | Сколько модельных секунд проходит за одну настенную секунду | `1` |
|
||||
| `GEN_RUN_MODE` | Режим генератора | `live` |
|
||||
| `GEN_LAUNCH_PROFILE` | Имя профиля запуска для логов | `ci` |
|
||||
| `GEN_LAUNCH_PROFILE` | Имя профиля запуска для логов | `daily-wave` |
|
||||
| `GEN_STARTUP_HISTORY_ARTIFACT` | JSON-файл для экспорта стартовой истории в режиме `backfill` | — |
|
||||
| `GEN_DATA_DIR` | Путь к JSONL файлам | `/data` |
|
||||
| `GEN_SEED` | Сид для воспроизводимости | — |
|
||||
@@ -126,14 +126,11 @@ make generated-history-analytics
|
||||
проверяет Superset metadata. Файлы `data/*.jsonl` при этом не грузятся в Kafka:
|
||||
они пока используются только как фактура для генератора.
|
||||
|
||||
По умолчанию используется быстрый профиль `ci`: 6 часов модельного времени.
|
||||
Профиль `daily-wave` даёт 2 суток, чтобы была видна суточная волна. В live он
|
||||
идёт с `GEN_MODEL_TIME_SPEED=60` и `GEN_TICK_SECONDS=1`: модельные сутки
|
||||
проходят примерно за 24 настенные минуты.
|
||||
|
||||
```bash
|
||||
PROFILE=daily-wave make generated-history-analytics
|
||||
```
|
||||
По умолчанию используется учебный профиль `daily-wave`: 2 суток с суточной
|
||||
волной. В live он идёт с `GEN_MODEL_TIME_SPEED=60` и
|
||||
`GEN_TICK_SECONDS=1`: модельные сутки проходят примерно за 24 настенные
|
||||
минуты. Плоский профиль `ci` на 6 часов остаётся служебным для автоматических
|
||||
тестов.
|
||||
|
||||
Разовую длительность можно задать без ручного расчёта `GEN_MODEL_T_END`:
|
||||
|
||||
|
||||
@@ -102,7 +102,7 @@ class Config:
|
||||
else None
|
||||
)
|
||||
launch_profile: str = field(
|
||||
default_factory=lambda: os.getenv("GEN_LAUNCH_PROFILE", "ci")
|
||||
default_factory=lambda: os.getenv("GEN_LAUNCH_PROFILE", "daily-wave")
|
||||
)
|
||||
|
||||
def __post_init__(self):
|
||||
|
||||
@@ -88,7 +88,7 @@ def parse_duration(value: str) -> timedelta:
|
||||
def build_launch_env(
|
||||
verb: str,
|
||||
*,
|
||||
profile_name: str = "ci",
|
||||
profile_name: str = "daily-wave",
|
||||
duration: str | None = None,
|
||||
overrides: dict[str, str] | None = None,
|
||||
) -> dict[str, str]:
|
||||
@@ -161,7 +161,11 @@ def _parse_args(argv: list[str]) -> argparse.Namespace:
|
||||
)
|
||||
parser.add_argument(
|
||||
"--profile",
|
||||
default=os.getenv("PROFILE") or os.getenv("GEN_LAUNCH_PROFILE") or "ci",
|
||||
default=(
|
||||
os.getenv("PROFILE")
|
||||
or os.getenv("GEN_LAUNCH_PROFILE")
|
||||
or "daily-wave"
|
||||
),
|
||||
choices=sorted(PROFILES),
|
||||
)
|
||||
parser.add_argument("--duration", default=os.getenv("GEN_HISTORY_DURATION"))
|
||||
|
||||
@@ -119,14 +119,14 @@ class TestConfigDefaults:
|
||||
if orig_value is not None:
|
||||
os.environ["GEN_TICK_SECONDS"] = orig_value
|
||||
|
||||
def test_launch_profile_defaults_to_ci(self, monkeypatch, data_dir):
|
||||
"""По умолчанию выбран быстрый профиль запуска ci."""
|
||||
def test_launch_profile_defaults_to_daily_wave(self, monkeypatch, data_dir):
|
||||
"""По умолчанию выбран учебный профиль запуска daily-wave."""
|
||||
monkeypatch.setenv("GEN_DATA_DIR", str(data_dir))
|
||||
monkeypatch.delenv("GEN_LAUNCH_PROFILE", raising=False)
|
||||
|
||||
config = Config()
|
||||
|
||||
assert config.launch_profile == "ci"
|
||||
assert config.launch_profile == "daily-wave"
|
||||
|
||||
def test_launch_profile_can_be_read_from_env(self, monkeypatch, data_dir):
|
||||
"""Выбранный профиль запуска попадает в конфигурацию для логов."""
|
||||
|
||||
@@ -42,6 +42,25 @@ def _declared_param_types() -> dict[str, set[str]]:
|
||||
return param_types
|
||||
|
||||
|
||||
def _declared_param_defaults() -> dict[str, object]:
|
||||
param_defaults = {}
|
||||
for node in ast.walk(_tree()):
|
||||
if not isinstance(node, ast.Dict):
|
||||
continue
|
||||
for key, value in zip(node.keys, node.values, strict=True):
|
||||
if not (
|
||||
isinstance(key, ast.Constant)
|
||||
and isinstance(key.value, str)
|
||||
and isinstance(value, ast.Call)
|
||||
and isinstance(value.func, ast.Name)
|
||||
and value.func.id == "Param"
|
||||
and value.args
|
||||
):
|
||||
continue
|
||||
param_defaults[key.value] = ast.literal_eval(value.args[0])
|
||||
return param_defaults
|
||||
|
||||
|
||||
def test_dag_file_exists_and_uses_dynamic_profiles():
|
||||
"""DAG берёт варианты профилей из PROFILES, а не из ручного списка."""
|
||||
text = DAG_PATH.read_text(encoding="utf-8")
|
||||
@@ -55,9 +74,11 @@ def test_dag_file_exists_and_uses_dynamic_profiles():
|
||||
def test_trigger_form_has_expected_param_enums():
|
||||
"""Форма запуска ограничивает операции и профили."""
|
||||
text = DAG_PATH.read_text(encoding="utf-8")
|
||||
param_defaults = _declared_param_defaults()
|
||||
|
||||
assert 'enum=["backfill", "import", "next-day", "check"]' in text
|
||||
assert "enum=sorted(PROFILES)" in text
|
||||
assert param_defaults["profile"] == "daily-wave"
|
||||
assert '"duration": Param(' in text
|
||||
assert '"artifact_path": Param(' in text
|
||||
assert '"expected_t_end": Param(' in text
|
||||
|
||||
@@ -5,6 +5,17 @@
|
||||
from datetime import datetime, timezone
|
||||
|
||||
|
||||
def test_daily_wave_is_the_default_for_api_and_cli(monkeypatch):
|
||||
"""Ручные точки входа без профиля выбирают daily-wave."""
|
||||
from clickstream_generator.launch import _parse_args, build_launch_env
|
||||
|
||||
monkeypatch.delenv("PROFILE", raising=False)
|
||||
monkeypatch.delenv("GEN_LAUNCH_PROFILE", raising=False)
|
||||
|
||||
assert build_launch_env("backfill")["GEN_LAUNCH_PROFILE"] == "daily-wave"
|
||||
assert _parse_args(["backfill"]).profile == "daily-wave"
|
||||
|
||||
|
||||
def test_duration_2d_sets_model_t_end_from_t0():
|
||||
"""Длительность 2d считается от T0 без ручного GEN_MODEL_T_END."""
|
||||
from clickstream_generator.launch import build_launch_env
|
||||
|
||||
Reference in New Issue
Block a user