ddadmin
35144e49f6
Руководства STG/ODS/DDS/DM сверены с действующими SQL и DAG, ожидания учебных заглушек связаны с ТЗ. Самопроверка заданий отделена от проверок разработки и исторических планов. Для dim_routes закреплено обновление описательных полей только у открытых версий. SQL, DAG, DDL и настройки стенда не менялись. Проверки: make lint; make test (4 passed, 14 skipped); карта; 292 локальные ссылки; маршрут чтения и карта в Chromium. Живой ETL не запускался.
53 lines
4.0 KiB
Markdown
53 lines
4.0 KiB
Markdown
# Документация
|
|
|
|
## Знакомство и первое задание
|
|
|
|
После [запуска стенда](../README.md) пройдите три шага:
|
|
|
|
1. [Структура DWH](design/db_schema.md): смысл строк и связей на примере поездки.
|
|
2. [От карты к SQL загрузки](design/reading_the_pipeline.md#ods-airports):
|
|
разбор готового справочника ODS. Сборка факта понадобится позже, перед DDS.
|
|
3. [Учебные задания](assignment/README.md): файлы для работы, порядок запуска
|
|
и [самопроверка](assignment/README.md#запуск-и-проверка).
|
|
Поля и бизнес-правила находятся в [ТЗ](assignment/analyst_spec.md).
|
|
|
|
## Найти деталь во время работы
|
|
|
|
[Интерактивная карта](design/architecture-map.html) ведет от таблицы к ее
|
|
источникам, потребителям, SQL и пункту задания.
|
|
Откройте локальный файл `docs/design/architecture-map.html` в браузере;
|
|
просмотр исходного HTML в Gitea не показывает карту.
|
|
[Руководство](design/db_schema.md#как-открыть-карту) объясняет открытие и адресные ссылки.
|
|
|
|
| Вопрос | Основной документ |
|
|
|---|---|
|
|
| В каком порядке запускать слои? | [Порядок запуска DAG](dag_execution_order.md) |
|
|
| Что делает загрузка и где искать ошибку? | Руководства [STG](bookings_to_gp_stage.md), [ODS](bookings_to_gp_ods.md), [DDS](bookings_to_gp_dds.md), [DM](bookings_to_gp_dm.md) |
|
|
| Какие поля и преобразования нужны в моем задании? | [ТЗ](assignment/analyst_spec.md) |
|
|
| Как называются служебные поля и что означают метки времени? | [Соглашения об именах](design/naming_conventions.md) |
|
|
| Какие проверки включить в DQ? | [Классы DQ-проверок](reference/dq_taxonomy.md) |
|
|
| Как устроены контейнеры, Connections и настройки? | [Справочник стенда](stack.md) |
|
|
|
|
## Проверки разработки и диагностика
|
|
|
|
[TESTING.md](../TESTING.md) описывает проверки изменений репозитория:
|
|
pytest, линтеры, проверку карты и прогоны стенда. Для выполнения первого
|
|
задания достаточно самопроверки из его инструкции.
|
|
|
|
Для углубленного разбора доступны
|
|
[исторический QA-план](reference/qa-plan.md) с многодневными и негативными
|
|
сценариями полной реализации и [заметки о генераторе Bookings](reference/bookings_db_issues.md).
|
|
QA-план требует отдельного тестового стенда и сверки с текущими SQL.
|
|
|
|
## История разработки
|
|
|
|
Планы слоев сохранены по прежним адресам:
|
|
[STG](design/bookings_stg_design.md), [ODS](design/bookings_ods_design.md),
|
|
[DDS](design/bookings_dds_design.md), [DM](design/bookings_dm_design.md).
|
|
В них остаются исходные обоснования, варианты SQL и последовательность
|
|
создания файлов. В начале каждого плана есть переход к действующему руководству.
|
|
Для реализации учебных загрузок используйте ТЗ и готовые SQL-примеры.
|
|
|
|
Полные материалы проектирования (PRD, дизайн заданий, архитектурные решения)
|
|
находятся в ветке `solution`.
|