docs: связаны карта DWH, разбор SQL и задания
This commit is contained in:
ddadmin committed
1 parent
b6e950f52c
commit
b7ecfb1bb7
8 files changed
+342
-149
No files matched your search
+69
-60
@@ -1,85 +1,94 @@
|
||||
# Учебные задания
|
||||
|
||||
## О чём задание
|
||||
В стенде уже работает цепочка от Bookings до `dm.sales_report`.
|
||||
Вы дополните ее загрузками ODS, измерениями DDS и четырьмя витринами DM.
|
||||
Поля, преобразования и бизнес-правила описаны в [ТЗ](analyst_spec.md).
|
||||
|
||||
В стенде уже работает **эталонный вертикальный срез** — полная цепочка
|
||||
`STG → ODS → DDS → DM` для витрины `dm.sales_report`. Ваша задача —
|
||||
реализовать недостающие загрузки по аналогии с эталоном.
|
||||
## Подготовка
|
||||
|
||||
На месте ваших заданий сейчас стоят **заглушки** (`SELECT 1;`). Вы замените
|
||||
их на реальную SQL-логику, и после этого весь DWH будет заполнен.
|
||||
Пройдите шаги 1–6 [быстрого старта](../../README.md#быстрый-старт-основной-сценарий-bookings--stg--ods--dds--dm):
|
||||
поднимите стенд, создайте таблицы, запустите эталонную цепочку и проверьте данные.
|
||||
Затем прочитайте [руководство о структуре DWH](../design/db_schema.md).
|
||||
Открывайте [карту](../design/architecture-map.html) рядом с заданием;
|
||||
для Gitea есть [инструкция открытия локального HTML](../design/db_schema.md#как-открыть-карту).
|
||||
|
||||
## С чего начать чтение
|
||||
Таблицы уже созданы, задачи Airflow подключены к SQL-файлам.
|
||||
В учебных `*_load.sql` и `*_dq.sql` пока стоит `SELECT 1;`.
|
||||
Вы заменяете эти заглушки; менять DAG и создавать таблицы заново не требуется.
|
||||
|
||||
Сначала посмотрите [руководство о структуре DWH и карту](../design/db_schema.md).
|
||||
Пока пишете свой слой, держите рядом [метод чтения скрипта загрузки](../design/reading_the_pipeline.md).
|
||||
Для `*_dq.sql` сверяйтесь с [классами DQ-проверок](../reference/dq_taxonomy.md).
|
||||
## Первая загрузка: ODS
|
||||
|
||||
## Перед началом
|
||||
Начните с `ods.airplanes`, затем добавьте `ods.seats`.
|
||||
На карте откройте [модели самолетов](../design/architecture-map.html#node=ods.airplanes)
|
||||
и [места](../design/architecture-map.html#node=ods.seats): источники STG уже заполнены.
|
||||
Позже обе таблицы понадобятся `dds.dim_airplanes` для характеристик модели
|
||||
и расчета ее вместимости.
|
||||
|
||||
Убедитесь, что стенд запущен и данные загружены —
|
||||
пройдите шаги 1–6 из [README (Быстрый старт)](../../README.md#быстрый-старт-основной-сценарий-bookings--stg--ods--dds--dm).
|
||||
### Готовый пример
|
||||
|
||||
После этого в Greenplum будут данные в эталонных таблицах (`stg.*`, `ods.bookings`,
|
||||
`dds.dim_airports`, `dds.fact_flight_sales`, `dm.sales_report` и др.).
|
||||
Пройдите [разбор stg.airports → ods.airports](../design/reading_the_pipeline.md#ods-airports).
|
||||
Это близкий пример полного снимка с выбором батча, преобразованиями и дедупликацией.
|
||||
Для первого задания этого разбора достаточно.
|
||||
|
||||
## Шаг 1. Изучите эталон
|
||||
### Самостоятельная работа
|
||||
|
||||
Прежде чем писать код, разберите, как устроены эталонные загрузки.
|
||||
По одному файлу на каждый ключевой паттерн:
|
||||
Откройте [часть 1 ТЗ](analyst_spec.md#часть-1-ods-слой-operational-data-store).
|
||||
Сверяйте с ней поля и правила каждой таблицы:
|
||||
|
||||
| Паттерн | Файл для изучения | Что посмотреть |
|
||||
|---------|-------------------|----------------|
|
||||
| ODS: TRUNCATE + INSERT (snapshot-справочник) | `sql/ods/airports_load.sql` | Фильтрация по `stg_batch_id`, дедупликация через `ROW_NUMBER()` |
|
||||
| DDS: SCD1 UPSERT (измерение) | `sql/dds/dim_airports_load.sql` | TEMP TABLE → UPDATE (`IS DISTINCT FROM`) → INSERT |
|
||||
| DM: витрина с UPSERT | `sql/dm/sales_report_load.sql` | HWM-инкремент, агрегация фактов по измерениям |
|
||||
| Объект и требования | Файлы для реализации | DDL для сверки |
|
||||
|---|---|---|
|
||||
| [ods.airplanes](analyst_spec.md#11-odsairplanes) | [airplanes_load.sql](../../sql/ods/airplanes_load.sql), [airplanes_dq.sql](../../sql/ods/airplanes_dq.sql) | [airplanes_ddl.sql](../../sql/ods/airplanes_ddl.sql) |
|
||||
| [ods.seats](analyst_spec.md#12-odsseats) | [seats_load.sql](../../sql/ods/seats_load.sql), [seats_dq.sql](../../sql/ods/seats_dq.sql) | [seats_ddl.sql](../../sql/ods/seats_ddl.sql) |
|
||||
|
||||
Описания каждого DAG — в `docs/`:
|
||||
[STG](../bookings_to_gp_stage.md) ·
|
||||
[ODS](../bookings_to_gp_ods.md) ·
|
||||
[DDS](../bookings_to_gp_dds.md) ·
|
||||
[DM](../bookings_to_gp_dm.md)
|
||||
Пример проверок: [airports_dq.sql](../../sql/ods/airports_dq.sql).
|
||||
Учтите разницу ключей: у модели это `airplane_code`, у места -
|
||||
`(airplane_code, seat_no)`.
|
||||
|
||||
## Шаг 2. Откройте ТЗ
|
||||
### Запуск и проверка
|
||||
|
||||
Техническое задание от аналитика: **[analyst_spec.md](analyst_spec.md)**.
|
||||
1. Дождитесь успешного `bookings_to_gp_stage` из подготовки.
|
||||
Если STG уже заполнен, новый запуск для этой работы не нужен.
|
||||
2. Запустите `bookings_to_gp_ods` целиком. Он выберет согласованный снимок
|
||||
в `resolve_stg_batch_id`, затем выполнит
|
||||
`load_ods_airplanes → dq_ods_airplanes → load_ods_seats → dq_ods_seats`.
|
||||
SQL использует XCom этого запуска, поэтому отдельно от выбора батча
|
||||
загрузку запускать не стоит.
|
||||
3. В Greenplum посмотрите строки обеих таблиц: модели, типы числовых полей,
|
||||
ключи мест и метки загрузки. Повторите ODS без нового запуска STG:
|
||||
бизнес-строки и количество ключей должны сохраниться без дублей.
|
||||
4. После реализации обеих таблиц запустите `bookings_validate` и откройте
|
||||
группу `validate_ods`. Она проверит наличие данных, совпадение ключей
|
||||
с выбранным STG-батчем, отсутствие дублей и NULL в ключах,
|
||||
а также общий `_load_id` двух таблиц.
|
||||
|
||||
Там описаны все таблицы, которые нужно реализовать, с маппингами, бизнес-правилами
|
||||
и подсказками. Рекомендуемый порядок (от простого к сложному):
|
||||
В `bookings_validate` автоматически запускаются все три группы.
|
||||
Пока готовы только задания ODS, оценивайте `validate_ods`: ошибки DDS и DM
|
||||
на этом этапе ожидаемы. После выполнения всех заданий должны пройти все группы.
|
||||
`*_dq.sql` тоже нужно реализовать: успешный `SELECT 1;` ничего не проверяет.
|
||||
|
||||
1. ODS: `airplanes`, `seats`
|
||||
2. DDS: `dim_airplanes`, `dim_passengers` (SCD1)
|
||||
3. DDS: `dim_routes` (SCD2 — ключевой вызов курсовой)
|
||||
4. DM: `airport_traffic`, `route_performance`, `monthly_overview`, `passenger_loyalty`
|
||||
## Следующие этапы
|
||||
|
||||
## Шаг 3. Реализуйте задания
|
||||
| Этап | Требования | Готовый пример рядом |
|
||||
|---|---|---|
|
||||
| DDS: `dim_airplanes`, `dim_passengers` | [Модели](analyst_spec.md#21-ddsdim_airplanes-scd1), [пассажиры](analyst_spec.md#22-ddsdim_passengers-scd1) | [dim_airports_load.sql](../../sql/dds/dim_airports_load.sql) |
|
||||
| DDS: `dim_routes` | [Версии маршрута SCD2](analyst_spec.md#23-ddsdim_routes-scd2) | [Разбор сборки факта](../design/reading_the_pipeline.md#fact-flight-sales) показывает, как используется версия |
|
||||
| DM: `airport_traffic` → `route_performance` → `monthly_overview` → `passenger_loyalty` | [Часть 3 ТЗ](analyst_spec.md#часть-3-dm-слой-data-marts--витрины) | [sales_report_load.sql](../../sql/dm/sales_report_load.sql) |
|
||||
|
||||
- **Файлы-заглушки уже на месте** — например, `sql/ods/airplanes_load.sql`
|
||||
содержит `SELECT 1;`. Ваша задача: заменить `SELECT 1;` на реальную SQL-логику.
|
||||
- **DDL уже создан** — таблицы существуют, создавать их не нужно.
|
||||
- **Таски в DAG-ах уже подключены** — `PostgresOperator` ссылается на ваши SQL-файлы.
|
||||
Менять Python-код DAG-ов не нужно.
|
||||
- **Нейминг полей:** сверяйтесь с `docs/design/naming_conventions.md`.
|
||||
|
||||
## Шаг 4. Проверьте себя валидационным DAG-ом
|
||||
|
||||
DAG **`bookings_validate`** — автоматическая проверка вашей реализации.
|
||||
|
||||
- Три группы проверок: `validate_ods`, `validate_dds`, `validate_dm` — запускаются
|
||||
параллельно. Можно проверять ODS, пока DDS ещё не готов.
|
||||
- Включает активный SCD2-тест для `dim_routes`: загружает изменённые данные
|
||||
и проверяет, что версионирование работает корректно.
|
||||
- Сообщения об ошибках подскажут, что именно не так и что делать дальше.
|
||||
|
||||
**Цель: все проверки зелёные.**
|
||||
Перед DDS разберите [загрузку факта](../design/reading_the_pipeline.md#fact-flight-sales).
|
||||
После реализации измерений выполните [пересчет факта и витрин](analyst_spec.md#пересчёт-факта-после-реализации-измерений).
|
||||
Проверяйте готовый слой своей группой в `bookings_validate`.
|
||||
В DDS есть активный SCD2-тест: он временно меняет данные маршрута,
|
||||
запускает вашу загрузку и затем восстанавливает тестируемые данные.
|
||||
|
||||
## Если застряли
|
||||
|
||||
- Изучите эталонные SQL-скрипты — в них те же паттерны, что нужны для заданий.
|
||||
- Загляните в `docs/design/naming_conventions.md` — единый источник нейминга полей.
|
||||
- Сверьтесь с **веткой `solution`** — там полная рабочая реализация.
|
||||
Вернитесь к карточке объекта на карте: там есть DDL, загрузка, DQ и пункт ТЗ.
|
||||
Для конкретного вопроса используйте [соглашения об именах](../design/naming_conventions.md),
|
||||
[справочник DQ](../reference/dq_taxonomy.md) и руководства DAG:
|
||||
[ODS](../bookings_to_gp_ods.md), [DDS](../bookings_to_gp_dds.md), [DM](../bookings_to_gp_dm.md).
|
||||
Полную реализацию можно посмотреть в ветке `solution`.
|
||||
|
||||
## Для менторов
|
||||
|
||||
Дизайн заданий и педагогическая логика — в ветке `solution`
|
||||
(`docs/design/assignment_design.md`).
|
||||
Дизайн заданий и педагогическая логика находятся в ветке `solution`,
|
||||
в `docs/design/assignment_design.md`.
|
||||
Reference in new issue
Block a user