ddadminandDmitry Dementiev 40633602f5 docs(plans): добавлен план инкрементальной загрузки ETL v2 ...

- Зачем:
  - нужно зафиксировать архитектуру перехода от full refresh к инкрементальной загрузке
  - план служит референсом для реализации и code review
- Что:
  - добавлен plans/incremental-etl-v2.md с полным описанием:
    * архитектура watermark (event_ts + lookback 5min)
    * DDL для meta.etl_watermarks_history с TTL 30 дней
    * SQL шаблоны для всех слоев (ODS, DDS, DM)
    * структура DAG с параллельной загрузкой ODS
    * функции get_watermark и save_watermark
    * алерты Grafana для late arrivals
    * демонстрация late arrivals через комментарии и логи
    * сценарии тестирования
    * оценка трудозатрат (15-16 часов)
- Проверка:
  - файл создан: plans/incremental-etl-v2.md
  - структура соответствует принятой архитектуре
  - все параметры согласованы (TTL, lookback, параллельность)

2026-06-09 17:27:17 +03:00

..

airflow_dags_plan.md

refactor(airflow): move DAGs to airflow/dags and update paths

2026-02-08 19:34:10 +03:00

clickhouse_ddl.md

Move STG->ODS to Airflow batch and align monitoring

2026-02-08 16:36:01 +03:00

generator_demo_stream_plan.md

docs(docs): обновлён план генератора по интеграции Prometheus

2026-06-09 17:26:31 +03:00

incremental-etl-v2.md

docs(plans): добавлен план инкрементальной загрузки ETL v2

2026-06-09 17:27:17 +03:00

kafka_ingest_plan.md

feat: изменён режим загрузки данных по умолчанию — теперь все записи

2026-02-08 17:21:22 +03:00

monitoring_airflow_plan.md

fix(monitoring): align airflow statsd mapping and reload flow

2026-02-08 22:51:09 +03:00

monitoring_kafka_plan.md

feat(monitoring): add Kafka monitoring via kafka-exporter

2026-02-08 21:25:31 +03:00

runbook.md

docs(docs): align docs with airflow-first ingest workflow

2026-02-08 18:52:44 +03:00