ddadmin
f3373f1e8f
Зачем: помочь учащемуся понять назначение объектов и обработку данных по стрелкам карты. Что: вычитаны карточки и подписи, пояснены термины, удалены повторы. Описания обработки уточнены по SQL, HTML пересобран. Проверка: сохранены 17 объектов и 17 стрелок, проверены 85 ссылок. В Chromium проверены карточки, фильтры, подсветка, Escape и отображение при ширине 1920 и 1280 пикселей. make lint и git diff --cached --check прошли.
Путеводитель по стенду
Путеводитель объясняет, как данные поступают в хранилище, обрабатываются и попадают в отчеты. В главах есть короткие примеры, которые можно выполнить на запущенном стенде перед переходом к учебным заданиям.
Как читать
Читайте главы в порядке ниже. Незнакомые термины можно найти в словаре понятий, а подробности устройства — в технических справочниках. К ним достаточно обращаться по мере необходимости. После путеводителя переходите к учебным заданиям.
Карта хранилища
Интерактивная карта показывает путь данных через слои. Gitea показывает HTML как текст. Откройте файл из своей копии репозитория или скачайте его кнопкой «Raw» и откройте в браузере. Сверяйтесь с картой при чтении главы «Хранилище и его слои».
Главы
Хранилище и его слои
Как меняются данные при переходе из Kafka в слои STG, ODS, DDS и DM. В конце главы вы посмотрите события, сессии и выручку с помощью SQL.
Потоки Airflow и даги модельного времени
Какие даги создают новые данные, а какие обрабатывают их в хранилище. Вы запустите генерацию и обработку за день и посмотрите результат в витринах.
Мониторинг: куда смотреть
Что показывают панели Grafana и как меняются их показания, пока в стенд поступают события и заказы.
Немного Superset
Как Superset строит графики по витринам и что происходит с вашими отчетами при перезапуске стенда.
Генератор: откуда берутся данные
Откуда берутся события и заказы, почему начальные данные повторяются и как сверить число загруженных событий с ожидаемым.