airflow-greenplum

217 Commits 5 Branches 0 Tags

2 Commits

Include renames

Author	SHA1	Message	Date
ddadminandClaude Sonnet 4.6	815a248841	chore(bookings): полировка эталонного среза — код, документация, ANALYZE - Зачем: - подготовка эталонного пайплайна к курсовой: код должен быть чистым, документация — актуальной, все слои — консистентными. - Что: - добавлен ANALYZE во все 5 DM load-скриптов (был в STG/ODS/DDS, пропущен в DM). - README актуализирован: добавлен DM-слой в быстрый старт, список DAG'ов, исправлен дефолт BOOKINGS_JOBS (2→1), добавлены примеры запросов DM. - удалены остатки CSV-пайплайна: CSV_DIR/CSV_ROWS из docs/stack.md. - docs/stack.md: исправлен дефолт BOOKINGS_JOBS (2→1). - убран отладочный комментарий «Исправлено:» в passenger_loyalty_load.sql. - исправлено форматирование (black) в 4 файлах. - TODO.md: отмечены пройденные пункты Этапа 1.5. - Проверка: - make lint && make test — проходят. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-03-09 19:37:35 +03:00
ddadmin	a06b52c38d	feat(dm): добавлена витрина passenger_loyalty и внедрен паттерн HWM по ключу - Зачем: - необходимо продемонстрировать студентам метод инкрементального пересчета "затронутых ключей" для больших справочных витрин. - Что: - созданы DDL, Load и DQ скрипты для витрины dm.passenger_loyalty (лояльность пассажиров). - реализован расчет моды (самый частый тариф) через PostgreSQL-специфику DISTINCT ON. - внедрена корректная агрегация SCD2-измерений (unique_routes) по бизнес-ключу route_bk. - настроено Heap-хранилище (WITH appendonly=false) для эффективного выполнения UPSERT. - обновлены DAGи bookings_dm_ddl и bookings_to_gp_dm для включения новой витрины в конвейер. - Проверка: - визуальный аудит SQL на предмет использования p.passenger_id (BK) и r.route_bk. - наличие учебной DQ-проверки ссылочной целостности и инварианта дат (first <= last). - проверка параллельности задач в Airflow DAG.	2026-03-04 22:03:26 +03:00

Author

SHA1

Message

Date

ddadminandClaude Sonnet 4.6

815a248841

chore(bookings): полировка эталонного среза — код, документация, ANALYZE

- Зачем:
  - подготовка эталонного пайплайна к курсовой: код должен быть чистым,
    документация — актуальной, все слои — консистентными.
- Что:
  - добавлен ANALYZE во все 5 DM load-скриптов (был в STG/ODS/DDS, пропущен в DM).
  - README актуализирован: добавлен DM-слой в быстрый старт, список DAG'ов,
    исправлен дефолт BOOKINGS_JOBS (2→1), добавлены примеры запросов DM.
  - удалены остатки CSV-пайплайна: CSV_DIR/CSV_ROWS из docs/stack.md.
  - docs/stack.md: исправлен дефолт BOOKINGS_JOBS (2→1).
  - убран отладочный комментарий «Исправлено:» в passenger_loyalty_load.sql.
  - исправлено форматирование (black) в 4 файлах.
  - TODO.md: отмечены пройденные пункты Этапа 1.5.
- Проверка:
  - make lint && make test — проходят.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-03-09 19:37:35 +03:00

ddadmin

a06b52c38d

feat(dm): добавлена витрина passenger_loyalty и внедрен паттерн HWM по ключу

- Зачем:
  - необходимо продемонстрировать студентам метод инкрементального пересчета "затронутых ключей" для больших справочных витрин.
- Что:
  - созданы DDL, Load и DQ скрипты для витрины dm.passenger_loyalty (лояльность пассажиров).
  - реализован расчет моды (самый частый тариф) через PostgreSQL-специфику DISTINCT ON.
  - внедрена корректная агрегация SCD2-измерений (unique_routes) по бизнес-ключу route_bk.
  - настроено Heap-хранилище (WITH appendonly=false) для эффективного выполнения UPSERT.
  - обновлены DAGи bookings_dm_ddl и bookings_to_gp_dm для включения новой витрины в конвейер.
- Проверка:
  - визуальный аудит SQL на предмет использования p.passenger_id (BK) и r.route_bk.
  - наличие учебной DQ-проверки ссылочной целостности и инварианта дат (first <= last).
  - проверка параллельности задач в Airflow DAG.

2026-03-04 22:03:26 +03:00