ddadmin
4058e18864
Зачем: помочь менти понять действия, проверить результат и оценить освоенное умение. Что: вычитаны 13 заданий основной программы и общий индекс. Итоговые списки обращены к учащемуся, убраны история разработки и повторы. Правила учебного текста записаны в программе, из AGENTS.md добавлена ссылка. Проверка: git diff --check, локальные ссылки и ссылки на измененные заголовки прошли. Блоки кода и таблицы требований совпадают с исходными. Упражнения на стенде повторно не выполнялись: изменен только текст.
98 lines
7.2 KiB
Markdown
98 lines
7.2 KiB
Markdown
# Задание 1: `dm.events_enriched_v`
|
||
|
||
**Чему учит:** подготовить удобный для анализа набор полей события
|
||
и обойтись представлением, сохранив одну строку на событие.
|
||
|
||
## Сначала прочитать
|
||
|
||
- [«Хранилище и его слои»](../handbook/storage-layers.md).
|
||
- [Как применить свой DDL](README.md#как-применить-свой-ddl): файл для решения
|
||
и подключение с правами на создание витрины.
|
||
|
||
## Для чего нужна витрина
|
||
|
||
В `dds.event_v` 44 колонки, включая технические поля источника и массивы
|
||
товаров. Для анализа событий в Superset нужны деловые поля и три готовых
|
||
значения: час события, путь страницы и домен перехода. Тогда вам не придется
|
||
повторять эти выражения в каждом запросе.
|
||
|
||
Витрины следующих заданий читают DDS напрямую. Использовать
|
||
`dm.events_enriched_v` как источник для них не нужно: задания независимы, их
|
||
можно выполнять в любом порядке.
|
||
|
||
## Что сделать
|
||
|
||
Создайте обычное представление `CREATE VIEW dm.events_enriched_v`.
|
||
Единственный источник — `dds.event_v`. Зерно — **событие**: каждой строке
|
||
источника соответствует одна строка витрины.
|
||
|
||
Физическая таблица, таблица-донор и задача в `dm_transform` не нужны.
|
||
Представление не хранит строки, поэтому ключ шардирования и пересборка ему
|
||
не требуются.
|
||
|
||
Укажите колонки явно. Иначе новая колонка источника попадет в витрину
|
||
автоматически, и договор с потребителем изменится без вашего участия.
|
||
|
||
| Группа | Колонки |
|
||
|---|---|
|
||
| Время и посетитель | `event_date`, `event_time`, `event_hour`, `client_id`, `event_id` |
|
||
| Действие | `event_type` (`pageview`, `add_to_cart`, `purchase`), `url`, `page_path`, `referer`, `referer_host`, `title` |
|
||
| UTM-метки | `utm_source`, `utm_medium`, `utm_campaign`, `utm_content`, `utm_term` |
|
||
| Устройство и регион | `device_category`, `browser`, `operating_system`, `region_country`, `region_city` |
|
||
| Товары и покупка | `product_id`, `product_name`, `product_category`, `product_price`, `product_quantity`, `product_event_type`, `purchase_id`, `purchase_revenue`, `purchase_coupon` |
|
||
|
||
Три колонки вычислите в представлении. Остальные возьмите из источника без
|
||
изменений, сохранив массивы `product_*`.
|
||
|
||
| Колонка | Как считается | Для чего нужна |
|
||
|---|---|---|
|
||
| `event_hour` | `toHour(event_time)` | Анализ событий по часам суток |
|
||
| `page_path` | путь `url` без домена и параметров | Группировка по странице |
|
||
| `referer_host` | домен `referer` | Анализ источников перехода |
|
||
|
||
Не добавляйте `_load_id` и `_load_ts`. Их нет и у `dds.event_v`: события в
|
||
DDS читают из ODS без отдельной загрузки. Эти служебные поля указывают на
|
||
запуск, который записал строку на диск. Представление ничего не загружает.
|
||
|
||
## Типичная ошибка
|
||
|
||
Не разворачивайте массивы товаров через `ARRAY JOIN`. У события с тремя
|
||
позициями получится три строки. Зерно изменится. Витрину с новым зерном на
|
||
стенде хранят готовым агрегатом — причины описаны в разделе [«Как принято на
|
||
ступени 1»](README.md#как-принято-на-ступени-1).
|
||
|
||
Главная опасность — потеря событий с пустым массивом товаров: `ARRAY JOIN`
|
||
исключает их из результата. Товары есть только в событиях корзины и покупки.
|
||
Поэтому исчезнет большинство событий — девятнадцать строк из двадцати.
|
||
Запрос выполнится без ошибки, а витрина по имени и составу колонок
|
||
по-прежнему будет выглядеть таблицей событий.
|
||
|
||
Сохраните массивы как в источнике. Для анализа отдельных товарных позиций
|
||
нужна другая витрина с другим зерном и именем.
|
||
|
||
## Как проверить себя
|
||
|
||
После применения DDL откройте Airflow по [адресу из README](../../README.md#адреса-и-пароли),
|
||
найдите даг `homework_check` и запустите его вручную. В новом запуске откройте
|
||
задачу `events_enriched`: она должна завершиться успешно. Если задача
|
||
красная, откройте ее журнал (`Logs`) — там будет причина ошибки, а при
|
||
расхождениях с источником — дни и примеры несовпадений. Задачи еще не
|
||
созданных витрин будут красными; это ожидаемо и не мешает проверке первой.
|
||
|
||
Деловой ключ — `event_id` внутри дня. Получите результат прямо из
|
||
`dds.event_v` за тот же день. Соедините его с витриной полным внешним
|
||
соединением по `event_id`. Посчитайте строки, где ключ отсутствует с одной
|
||
из сторон или различаются значения деловых колонок. Расхождений должно быть
|
||
ноль.
|
||
|
||
Отдельно сверьте `event_hour`, `page_path` и `referer_host` с теми же
|
||
выражениями, рассчитанными прямо по `dds.event_v`.
|
||
|
||
## Что должно получиться
|
||
|
||
- [ ] у вас есть `dm.events_enriched_v` с явно перечисленными колонками;
|
||
- [ ] вы сверили число строк и набор `event_id` с `dds.event_v` за каждый
|
||
прожитый день; расхождений нет;
|
||
- [ ] вы запустили `events_enriched` в `homework_check`, проверка успешна;
|
||
- [ ] витрина работает без физической таблицы и задачи в `dm_transform`.
|