ddadmin
453a1d6ddf
Зачем: начинающим ученикам трудно читать главы без пояснений терминов и ожидаемого результата примеров. Что: уточнены заголовки и объяснения в пяти главах и вводной, добавлена сверка графика с SQL, обновлены ссылки из заданий и документации генератора. Проверка: SQL и команды сохранены, локальные ссылки проверены; git diff --check пройден. Ревью смысла Sol 6.1 high замечаний не выявило, новые пояснения дополнительно сверены с кодом и настройками.
3.2 KiB
Путеводитель по стенду
Путеводитель объясняет, как данные поступают в хранилище, обрабатываются и попадают в отчеты. В главах есть короткие примеры, которые можно выполнить на запущенном стенде перед переходом к учебным заданиям.
Порядок чтения
Сначала запустите стенд по инструкции. Затем читайте главы по порядку и выполняйте примеры из них. Незнакомые термины можно найти в словаре понятий, а подробности устройства — в технических справочниках. К ним достаточно обращаться по мере необходимости. После путеводителя переходите к учебным заданиям.
Карта хранилища
Интерактивная карта показывает путь данных через слои. Gitea показывает HTML как текст. Откройте файл из своей копии репозитория или скачайте его кнопкой «Raw» и откройте в браузере. Сверяйтесь с картой при чтении главы «Хранилище и его слои».
Содержание
Хранилище и его слои
Как меняются данные при переходе из Kafka в слои STG, ODS, DDS и DM. В конце главы вы посмотрите события, сессии и выручку с помощью SQL.
Генерация и обработка данных в Airflow
Какие даги создают новые данные, а какие обрабатывают их в хранилище. Вы сравните содержимое витрин до и после обработки нового дня.
Мониторинг в Grafana
Что показывают панели Grafana и как меняются их показания, пока в стенд поступают события и заказы. Вы увидите, почему заказы обновляются реже событий.
Отчеты в Superset
Как Superset строит графики по витринам. Вы сравните числа на готовом графике с результатом SQL и узнаете, какие отчеты сохраняются при перезапуске стенда.
Генератор: откуда берутся данные
Откуда берутся события и заказы, почему начальные данные повторяются и как сверить число загруженных событий с ожидаемым.