60 lines
4.6 KiB
Markdown
60 lines
4.6 KiB
Markdown
# Документация
|
|
|
|
## Знакомство и первое задание
|
|
|
|
После [запуска стенда](../README.md):
|
|
|
|
1. [Структура DWH](design/db_schema.md): смысл строк и связей на примере поездки.
|
|
2. [Учебные задания](assignment/README.md): прием справочника через PXF,
|
|
затем загрузки ODS, измерения и витрины. Каждая работа указывает свои проверки.
|
|
|
|
Перед заданиями ODS прочитайте [разбор готового справочника](design/reading_the_pipeline.md#ods-airports).
|
|
Сборка факта из того же руководства понадобится перед DDS.
|
|
Поля и бизнес-правила расширений находятся в [ТЗ](assignment/analyst_spec.md).
|
|
|
|
## Найти деталь во время работы
|
|
|
|
[Интерактивная карта](design/architecture-map.html) ведет от таблицы к ее
|
|
источникам, потребителям, SQL и пункту задания.
|
|
Откройте локальный файл `docs/design/architecture-map.html` в браузере;
|
|
просмотр исходного HTML в Gitea не показывает карту.
|
|
[Руководство](design/db_schema.md#как-открыть-карту) объясняет открытие и адресные ссылки.
|
|
|
|
| Вопрос | Основной документ |
|
|
|---|---|
|
|
| В каком порядке запускать слои? | [Порядок запуска DAG](dag_execution_order.md) |
|
|
| Что делает загрузка и где искать ошибку? | Руководства [STG](bookings_to_gp_stage.md), [ODS](bookings_to_gp_ods.md), [DDS](bookings_to_gp_dds.md), [DM](bookings_to_gp_dm.md) |
|
|
| Какие поля и преобразования нужны в моем задании? | [ТЗ](assignment/analyst_spec.md) |
|
|
| Как называются служебные поля и что означают метки времени? | [Соглашения об именах](design/naming_conventions.md) |
|
|
| Какие проверки включить в DQ? | [Классы DQ-проверок](reference/dq_taxonomy.md) |
|
|
| Как устроены контейнеры, Connections и настройки? | [Справочник стенда](stack.md) |
|
|
|
|
## Проверки разработки и диагностика
|
|
|
|
[TESTING.md](../TESTING.md) описывает проверки изменений репозитория:
|
|
pytest, линтеры, проверку карты и прогоны стенда. Для выполнения первого
|
|
задания достаточно самопроверки из его инструкции.
|
|
|
|
Для углубленного разбора доступны
|
|
[исторический QA-план](reference/qa-plan.md) с многодневными и негативными
|
|
сценариями полной реализации и [заметки о генераторе Bookings](reference/bookings_db_issues.md).
|
|
QA-план требует отдельного тестового стенда и сверки с текущими SQL.
|
|
|
|
## Разработка учебных заданий
|
|
|
|
Перед созданием или пересмотром лабораторных прочитайте
|
|
[заметку о развитии программы в ветке solution](https://git.dementev.space/ddmitry/airflow-greenplum/src/branch/solution/docs/design/labs_development.md):
|
|
аудитория, принятые решения, предложения по обязательному циклу и общие критерии заданий.
|
|
|
|
## История разработки
|
|
|
|
Планы слоев сохранены по прежним адресам:
|
|
[STG](design/bookings_stg_design.md), [ODS](design/bookings_ods_design.md),
|
|
[DDS](design/bookings_dds_design.md), [DM](design/bookings_dm_design.md).
|
|
В них остаются исходные обоснования, варианты SQL и последовательность
|
|
создания файлов. В начале каждого плана есть переход к действующему руководству.
|
|
Для реализации учебных загрузок используйте ТЗ и готовые SQL-примеры.
|
|
|
|
Полные материалы проектирования (PRD, дизайн заданий, архитектурные решения)
|
|
находятся в ветке `solution`.
|