ddmitry/airflow-greenplum
1
0 Fork 0
Code Issues 6 Pull Requests Actions Packages Projects Releases Wiki Activity

Сделать структуру учебного DWH понятной через карту и связные руководства #1

New Issue
Closed
opened 2026-09-20 19:06:49 +03:00 by ddmitry · 1 comment
ddmitry commented 2026-09-20 19:06:49 +03:00
Owner
Copy link
Copy source

Проблема и аудитория

Менти уже знают SQL, основы Greenplum, назначение слоев DWH и выполняли задания на отдельном стенде Airflow. Здесь они впервые достраивают связанный процесс загрузки хранилища.

При знакомстве со структурой БД трудно удерживать общую картину: полная схема перегружена, а отдельные диаграммы приходится связывать самостоятельно. Это рабочая гипотеза по давним впечатлениям ментора; точные вопросы учеников не сохранились. Коммит 4a04a2c разделил схему на четыре уровня, но подробности объектов, связей и загрузок по-прежнему распределены между несколькими документами.

Результат

После запуска стенда читатель проходит путь: знакомство с данными авиаперевозок и интерактивной картой → разбор готовой загрузки → самостоятельное задание. При переходе к деталям сохраняется понимание места таблицы в хранилище.

Карта объясняет смысл одной строки, ключи и связи, происхождение данных и дальнейшее использование. Текст проводит через конкретный пример. Задания и руководства загрузок ведут к соответствующему объекту карты.

Принятые границы

  • За основу взаимодействия берем карту Clickstream: постоянное расположение объектов, выделение источников и потребителей, карточки объектов и связей, переходы к SQL.
  • Различаем связи сущностей по ключам, перенос данных между слоями и зависимости задач Airflow.
  • Явно показываем готовые загрузки и учебные заглушки на main. Требуемое поведение задания не выдаем за уже работающий код.
  • Сохраняем содержание и порядок программы ODS → DDS → DM. Вводный курс по Airflow и слоям не добавляем.
  • Меняем документацию и ее интерактивное представление. Изменения DAG, SQL, DDL, данных и настроек стенда в эту работу не входят.
  • Старые планы разработки отделяем от актуальных инструкций; полезные объяснения сверяем с кодом перед использованием.

Задачи

  • #2 — Добавить интерактивную карту и переписать руководство о структуре DWH (PR #5, влит в main)
  • #3 — Связать карту хранилища с чтением SQL и учебными заданиями (PR #6, влит в main)
  • #4 — Согласовать руководства загрузок и справочники с учебным маршрутом (PR #7, влит в main)

Выполнять по порядку: #2 → #3 → #4. Зависимости указаны в дочерних задачах через Blocked by.

Как проверить общий результат

  • Из README после запуска понятен следующий шаг знакомства с хранилищем.
  • Читатель может найти таблицу, объяснить смысл строки и ключи, проследить источники и потребителей, открыть соответствующий SQL.
  • Пройдены три сценария: билет с несколькими сегментами и строки факта; происхождение аэропортов в факте; самолеты и места как источники dim_airplanes.
  • В каждом сценарии понятно, какие части уже работают и какие относятся к заданиям.
  • У основных руководств разные роли; переходы между ними и картой работают, а противоречащие описания на этом пути устранены.
  • Интерактивность проверена в браузере. Проверки исходников и ссылок отдельно перечислены в отчете и не подменяют проверку интерфейса.

Ориентиры

Что уточнить перед реализацией

Конкретное представление связей сущностей и потоков загрузки нужно проверить на небольшой полной цепочке в макете. Старые документы с разными требованиями к студенческим загрузкам требуют отдельной сверки; это не основание молча менять задание.

## Проблема и аудитория Менти уже знают SQL, основы Greenplum, назначение слоев DWH и выполняли задания на отдельном стенде Airflow. Здесь они впервые достраивают связанный процесс загрузки хранилища. При знакомстве со структурой БД трудно удерживать общую картину: полная схема перегружена, а отдельные диаграммы приходится связывать самостоятельно. Это рабочая гипотеза по давним впечатлениям ментора; точные вопросы учеников не сохранились. Коммит `4a04a2c` разделил схему на четыре уровня, но подробности объектов, связей и загрузок по-прежнему распределены между несколькими документами. ## Результат После запуска стенда читатель проходит путь: знакомство с данными авиаперевозок и интерактивной картой → разбор готовой загрузки → самостоятельное задание. При переходе к деталям сохраняется понимание места таблицы в хранилище. Карта объясняет смысл одной строки, ключи и связи, происхождение данных и дальнейшее использование. Текст проводит через конкретный пример. Задания и руководства загрузок ведут к соответствующему объекту карты. ## Принятые границы - За основу взаимодействия берем карту Clickstream: постоянное расположение объектов, выделение источников и потребителей, карточки объектов и связей, переходы к SQL. - Различаем связи сущностей по ключам, перенос данных между слоями и зависимости задач Airflow. - Явно показываем готовые загрузки и учебные заглушки на `main`. Требуемое поведение задания не выдаем за уже работающий код. - Сохраняем содержание и порядок программы ODS → DDS → DM. Вводный курс по Airflow и слоям не добавляем. - Меняем документацию и ее интерактивное представление. Изменения DAG, SQL, DDL, данных и настроек стенда в эту работу не входят. - Старые планы разработки отделяем от актуальных инструкций; полезные объяснения сверяем с кодом перед использованием. ## Задачи - [x] #2 — Добавить интерактивную карту и переписать руководство о структуре DWH ([PR #5](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/5), влит в `main`) - [x] #3 — Связать карту хранилища с чтением SQL и учебными заданиями ([PR #6](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/6), влит в `main`) - [x] #4 — Согласовать руководства загрузок и справочники с учебным маршрутом ([PR #7](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/7), влит в `main`) Выполнять по порядку: #2 → #3 → #4. Зависимости указаны в дочерних задачах через `Blocked by`. ## Как проверить общий результат - [x] Из README после запуска понятен следующий шаг знакомства с хранилищем. - [x] Читатель может найти таблицу, объяснить смысл строки и ключи, проследить источники и потребителей, открыть соответствующий SQL. - [x] Пройдены три сценария: билет с несколькими сегментами и строки факта; происхождение аэропортов в факте; самолеты и места как источники `dim_airplanes`. - [x] В каждом сценарии понятно, какие части уже работают и какие относятся к заданиям. - [x] У основных руководств разные роли; переходы между ними и картой работают, а противоречащие описания на этом пути устранены. - [x] Интерактивность проверена в браузере. Проверки исходников и ссылок отдельно перечислены в отчете и не подменяют проверку интерфейса. ## Ориентиры - [Текущая схема](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/design/db_schema.md) - [Чтение загрузки](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/design/reading_the_pipeline.md) - [Учебные задания](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/main/docs/assignment/README.md) - [Карта Clickstream](https://git.dementev.space/ddmitry/clickstream-data-platform/src/branch/main/docs/handbook/architecture-map.html), [ее исходники](https://git.dementev.space/ddmitry/clickstream-data-platform/src/branch/main/docs/handbook/architecture-map/README.md) ## Что уточнить перед реализацией Конкретное представление связей сущностей и потоков загрузки нужно проверить на небольшой полной цепочке в макете. Старые документы с разными требованиями к студенческим загрузкам требуют отдельной сверки; это не основание молча менять задание.
ddmitry added the needs-triage label 2026-09-20 19:06:49 +03:00
ddmitry commented 2026-09-20 23:01:33 +03:00
Author
Owner
Copy link
Copy source

Серия завершена: #2 / PR #5, #3 / PR #6 и #4 / PR #7 влиты в main.

Учебный маршрут ведет от README и модели данных к карте, разбору готовой загрузки и самостоятельной работе с ее проверкой. Карта объясняет зерно, ключи, источники и потребителей; готовые загрузки и учебные заглушки различаются. Поля и бизнес-правила заданий остаются в ТЗ, руководства отвечают за запуск и диагностику, исторические планы доступны отдельно.

Пройдены все три сценария: билет с несколькими сегментами; аэропорты вылета и прилета в факте; модели самолетов и места как источники dim_airplanes. Маршрут чтения и интерактивность проверены в Chromium. Проверки исходников и ссылок перечислены отдельно в итоговом комментарии к #4; там же зафиксировано правило обновления только открытых версий dim_routes.

Все три этапа и шесть критериев общего результата выполнены. SQL, DAG, DDL, конфигурация и данные стенда в этой серии не изменены. Живой ETL в рамках серии не запускался; браузерные проверки относятся к документации и карте.

Серия завершена: #2 / [PR #5](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/5), #3 / [PR #6](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/6) и #4 / [PR #7](https://git.dementev.space/ddmitry/airflow-greenplum/pulls/7) влиты в `main`. Учебный маршрут ведет от README и модели данных к карте, разбору готовой загрузки и самостоятельной работе с ее проверкой. Карта объясняет зерно, ключи, источники и потребителей; готовые загрузки и учебные заглушки различаются. Поля и бизнес-правила заданий остаются в ТЗ, руководства отвечают за запуск и диагностику, исторические планы доступны отдельно. Пройдены все три сценария: билет с несколькими сегментами; аэропорты вылета и прилета в факте; модели самолетов и места как источники `dim_airplanes`. Маршрут чтения и интерактивность проверены в Chromium. Проверки исходников и ссылок перечислены отдельно в [итоговом комментарии к #4](https://git.dementev.space/ddmitry/airflow-greenplum/issues/4#issuecomment-3025); там же зафиксировано правило обновления только открытых версий `dim_routes`. Все три этапа и шесть критериев общего результата выполнены. SQL, DAG, DDL, конфигурация и данные стенда в этой серии не изменены. Живой ETL в рамках серии не запускался; браузерные проверки относятся к документации и карте.
Sign in to join this conversation.
No Branch/Tag Specified
Labels
Clear labels
needs-info
Ждём уточнений от автора постановки.
 needs-triage
Постановка подготовлена; требуется оценить объем и готовность к работе.
 ready-for-agent
Полностью описано, можно отдавать AFK-агенту.
 ready-for-human
Требует реализации человеком.
 wontfix
Делать не будем.
No labels needs-triage
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ddmitry/airflow-greenplum#1