ddadmin
915e976fc2
Зачем: помочь учащемуся понять путь данных и работу служб перед выполнением заданий. Что: вычитаны оглавление и пять глав, пояснены термины, убраны внутренние метафоры и повторы. Уточнены пояснения к SQL и показателям мониторинга. Проверка: 62 локальные ссылки и 6 входящих ссылок на разделы проверены; 8 блоков SQL и схем сохранены. git diff --cached --check прошел.
2.8 KiB
Путеводитель по стенду
Путеводитель объясняет, как данные поступают в хранилище, обрабатываются и попадают в отчеты. В главах есть короткие примеры, которые можно выполнить на запущенном стенде перед переходом к учебным заданиям.
Как читать
Читайте главы в порядке ниже. Незнакомые термины можно найти в словаре понятий, а подробности устройства — в технических справочниках. К ним достаточно обращаться по мере необходимости. После путеводителя переходите к учебным заданиям.
Карта хранилища
Интерактивная карта показывает путь данных через слои. Gitea показывает HTML как текст. Откройте файл из своей копии репозитория или скачайте его кнопкой «Raw» и откройте в браузере. Сверяйтесь с картой при чтении главы «Хранилище и его слои».
Главы
Хранилище и его слои
Как меняются данные при переходе из Kafka в слои STG, ODS, DDS и DM. В конце главы вы посмотрите события, сессии и выручку с помощью SQL.
Потоки Airflow и даги модельного времени
Какие даги создают новые данные, а какие обрабатывают их в хранилище. Вы запустите генерацию и обработку за день и посмотрите результат в витринах.
Мониторинг: куда смотреть
Что показывают панели Grafana и как меняются их показания, пока в стенд поступают события и заказы.
Немного Superset
Как Superset строит графики по витринам и что происходит с вашими отчетами при перезапуске стенда.
Генератор: откуда берутся данные
Откуда берутся события и заказы, почему начальные данные повторяются и как сверить число загруженных событий с ожидаемым.