ddmitry/airflow-greenplum
1
0 Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity

docs(labs): эталон и проверка лабораторной PXF #15

Merged
ddmitry merged 1 commits from docs/9-pxf-airports-author into solution 2026-09-22 18:29:11 +03:00
Conversation 0 Commits 1 Files Changed 9
+785 -10
ddmitry commented 2026-09-22 18:27:42 +03:00
Owner
Copy link
Copy source

Для лабораторной #9 зафиксированы граница самостоятельной работы, эталон и проверенный переход от приема справочника к существующим заданиям ODS. Авторская заметка отражает включение лабораторной в программу; полный протокол хранит команды и наблюдения на учебной main.

В solution выборочно добавлены общие средства: DAG lab_pxf_airports, независимая сверка и тесты. DAG выполняет восемь готовых задач загрузки/DQ четырех справочников с одним Run ID и использует существующие SQL. Полный эталон solution сохранен.

Проверено на Airflow 2.9.2, Greenplum 6.27.1 и Postgres 16: 5501 аэропорт, повтор того же батча, переименование в источнике, отказ на старой копии, выбор нового общего батча ODS, восстановление и проход до DM. При свежем ревью найдена и исправлена подсказка по очистке ошибочного батча; восстановление после дублей отдельно воспроизведено.

make lint и make test: 14 passed, 15 skipped. Пропуски: 14 smoke-тестов из-за заглушек Airflow в conftest и один opt-in интеграционный тест ODS. Настоящий DagBag и учебный маршрут проверены отдельно. Команды, ограничения и логи — в протоколе.

Refs #9, #8. Учебная инструкция влита в main через PR #16.

Для лабораторной #9 зафиксированы граница самостоятельной работы, эталон и проверенный переход от приема справочника к существующим заданиям ODS. Авторская заметка отражает включение лабораторной в программу; полный протокол хранит команды и наблюдения на учебной main. В solution выборочно добавлены общие средства: DAG `lab_pxf_airports`, независимая сверка и тесты. DAG выполняет восемь готовых задач загрузки/DQ четырех справочников с одним Run ID и использует существующие SQL. Полный эталон solution сохранен. Проверено на Airflow 2.9.2, Greenplum 6.27.1 и Postgres 16: 5501 аэропорт, повтор того же батча, переименование в источнике, отказ на старой копии, выбор нового общего батча ODS, восстановление и проход до DM. При свежем ревью найдена и исправлена подсказка по очистке ошибочного батча; восстановление после дублей отдельно воспроизведено. `make lint` и `make test`: 14 passed, 15 skipped. Пропуски: 14 smoke-тестов из-за заглушек Airflow в conftest и один opt-in интеграционный тест ODS. Настоящий DagBag и учебный маршрут проверены отдельно. Команды, ограничения и логи — в [протоколе](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/solution/docs/reports/2026-09-22-pxf-airports.md). Refs #9, #8. Учебная инструкция влита в main через [PR #16](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/16).
ddmitry added 1 commit 2026-09-22 18:27:44 +03:00
docs(labs): добавлены эталон и протокол лабораторной PXF d105cb75df
ddmitry merged commit f1745e01be into solution 2026-09-22 18:29:11 +03:00
Sign in to join this conversation.
Reviewers
No Reviewers
Labels
Clear labels
needs-info
Ждём уточнений от автора постановки.
 needs-triage
Постановка подготовлена; требуется оценить объем и готовность к работе.
 ready-for-agent
Полностью описано, можно отдавать AFK-агенту.
 ready-for-human
Требует реализации человеком.
 wontfix
Делать не будем.
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/airflow-greenplum#15