docs(labs): добавлены эталон и протокол лабораторной PXF

This commit is contained in:
ddadmin committed 2026-09-22 11:26:27 -04:00
1 parent 7bf61d8f74
commit d105cb75df
9 files changed
+785 -10

No files matched your search

+13 -10
View File
@@ -59,7 +59,7 @@
## Принято: прием справочника входит в обязательную программу
Добавить лабораторную **«Восстановите прием справочника из источника»**.
Добавлена лабораторная **«Восстановите прием справочника из источника»**.
Она закрывает практику подключения через PXF и загрузки полного снимка
в STG, которые сейчас даны готовыми.
@@ -69,11 +69,13 @@
в том же батче и получение нового снимка. Результат должен снова
участвовать в действующей цепочке ODS → DDS → DM.
Конкретный справочник, состав удаляемых файлов, место в маршруте и проверки
еще предстоит выбрать. Кандидат — `airports`: рядом есть
[внешняя и внутренняя таблицы](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/sql/stg/airports_ddl.sql),
[загрузка снимка](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/sql/stg/airports_load.sql) и
[преобразование в ODS](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/sql/ods/airports_load.sql).
В [#9](https://git.dementev.space/ddmitry/airflow-greenplum/issues/9) выбран `airports`;
место — после быстрого старта и знакомства с моделью, перед снимками ODS.
Студент восстанавливает внешний DDL и загрузку, сохраняя готовыми внутреннюю
таблицу, JDBC-конфигурацию, DQ и DAG. Перед реализацией очищает старые снимки
только `stg.airports`. Опыты с повторным выполнением, изменением источника и
восстановлением описаны в [инструкции main](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/assignment/pxf_airports.md);
обоснование и эталон — в [материалах автора](pxf_airports_lab.md).
## Покрытие обязательного цикла
@@ -82,7 +84,7 @@
| Участок | Что студент делает сейчас | Что стоит добавить |
|---|---|---|
| PXF и снимок STG | Запускает готовую цепочку | Принятая лабораторная по приему справочника |
| PXF и снимок STG | Восстанавливает прием `airports`, испытывает повтор, изменение источника и передачу в ODS | Закрыто лабораторной #9 |
| Инкремент STG | Использует готовый отбор по дате источника | Самостоятельную загрузку новых данных и проверку границы отбора |
| Снимки ODS | Реализует `airplanes`, `seats` и их DQ | Сохранить задания; использовать их после знакомства с приемом данных |
| Инкремент ODS | Использует готовые загрузки | Обработку новых ключей и изменений уже полученных строк |
@@ -137,7 +139,7 @@
| Новая работа | Состояние перед началом | Результат для продолжения |
|---|---|---|
| Прием справочника | Пройден быстрый старт, работает эталонная цепочка до `sales_report`; выбран участок для вычитания | Собственная загрузка получает новый снимок STG, который участвует в общем батче справочников и принимается ODS |
| Прием справочника | Пройден быстрый старт, работает эталонная цепочка до `sales_report` | Собственная загрузка проверена; источник восстановлен, новый общий снимок принят ODS и готов для заданий `airplanes` и `seats` |
| Инкремент STG/ODS | Разобраны прием снимка и существующие задания ODS; подготовлены таблицы и входные пачки | Собственные загрузки дают ожидаемое текущее состояние ODS после всех проверочных случаев |
| Сборка факта | Реализованы и проверены измерения DDS | Факт построен собственным SQL, проверены ключи и значения; на нем можно выполнять задания DM |
| Оркестрация и восстановление | SQL выбранного участка реализован и проверен | DAG выполняет загрузку и DQ в нужном порядке; после подготовленного сбоя обработка завершается с ожидаемыми данными |
@@ -147,8 +149,9 @@
не может быть условием начала первой работы. Действующие особенности
запусков и состояния слоев описаны в [порядке выполнения DAG](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/dag_execution_order.md).
Предложения основаны на чтении исходников; воспроизводимость новых
сценариев на стенде еще не проверялась.
Оставшиеся предложения основаны на чтении исходников; их воспроизводимость
на стенде еще не проверялась. Состояние проверки приема `airports`
зафиксировано отдельно в [материалах #9](pxf_airports_lab.md#проверочный-прогон).
## Как подготовить лабораторную