ddadmin
466acafce6
Зачем: путеводитель рассказывает путь данных через слои словами, а карта дает его увидеть и потрогать: у одного смысла в каждом слое свое имя и своя поверхность, а переносят данные три разных механизма — матвью непрерывно, даг пачкой, представление без копии. Постановка — тикет #222, форма — резолюция #208 (один самодостаточный HTML, исходники рядом). Что: docs/handbook/architecture-map.html — готовая карта; исходники в docs/handbook/architecture-map/ (map.yaml — слои, узлы, стрелки, карточки; template.html — разметка, стили, скрипт; render.py — сборка и --check; README.md). Щелчок по узлу открывает карточку и подсвечивает путь, щелчок по стрелке — кто и каким SQL переносит данные; переключатель потока приглушает чужую часть карты. Ссылки карточек ведут в справочники и DDL на Gitea. Путеводитель и глава о хранилище ведут на карту; make lint проверяет ruff для сборщика и свежесть рендера; testing.md и AGENTS.md обновлены. Проверка: uv run docs/handbook/architecture-map/render.py --check и make lint зеленые; внешних запросов в HTML нет; ссылки и якоря карточек сверены с Gitea; карта прощелкана в headless Chromium на ширинах 1280–1920: подсветка пути, фильтр, Esc, карточки узлов и стрелок. Ревью: постановка — Opus; реализация — Codex (Sol), два слепых ревью Opus (уместность и код), вычитка прозы Sol.
3.0 KiB
Путеводитель по стенду
Если вы впервые видите стенд, начните отсюда. Путеводитель подскажет, на что смотреть и в каком порядке, а за подробностями отправит в справочники. Так вы разберетесь в устройстве, прежде чем браться за уроки.
Как читать
Тропа такая: словарь понятий → главы путеводителя →
справочники docs/architecture/ →
уроки.
Словарь не надо читать подряд. Возвращайтесь к нему за незнакомым словом. Первая статья словаря объясняет хранилище. Следом идет несколько статей об устройстве генератора; они понадобятся нескоро.
Карта хранилища
Интерактивная карта показывает путь данных через слои. Gitea показывает HTML как текст. Откройте файл из своей копии репозитория или скачайте его кнопкой «Raw» и откройте в браузере. Держите карту рядом с главой «Хранилище и его слои».
Главы
Хранилище и его слои
От события в Kafka до витрины: глава разбирает путь через STG, ODS, DDS и DM и показывает, за что отвечает каждый слой.
Потоки Airflow и даги модельного времени
Шаговый даг играет модельный день, а дневной конвейер раскладывает данные по слоям. Глава поможет увидеть их связь и роль каждого дага.
Мониторинг: куда смотреть
Свежесть и поток данных, брак и отставание собраны на дашборде «Данные». Глава научит находить нужную панель и разбирать ее показания.
Немного Superset
Глава покажет, как витрина становится графиком и где проходит граница между своими объектами и теми, которые поднимает стенд.
Генератор: откуда берутся данные
Здесь генератор — источник данных, а не предмет изучения. Глава в общих чертах объяснит, откуда берутся события и заказы и в каком виде их получает хранилище.