docs(labs): переписана проза пяти ТЗ ступени 1 и раздел «Как принято»
- Зачем:
- владелец при чтении забраковал прозу ТЗ ступени 1: образы вместо
утверждений, заголовки-метафоры, договоренности стенда поданы как
законы. Тикет #228.
- Что:
- пять ТЗ (задания 1–5) написаны заново по форме ТЗ ступени 2:
содержание, колонки, формулы, самопроверка и приемка сохранены.
- раздел README лаб «Общие правила ступени 1» переименован в «Как принято
на ступени 1» и переписан как выбор с доводом; точечно поправлены
«Самопроверка» и таблица ступени 1.
- Проверка:
- grep по «ё», «менти», формам «ты» и словам-законам по docs/labs/*.md
молчит (единственное «правило» — в нетронутом разделе «Уборка»).
- скрипт ссылок и якорей из #226 печатает пусто; git diff --check чист.
- сверка имен в обратных кавычках и чекбоксов старых и новых файлов —
без расхождений.
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
This commit is contained in:
1 parent
dc2cbc99dc
commit
29a01f0016
6 files changed
+472
-522
No files matched your search
@@ -1,114 +1,110 @@
|
||||
# Задание 2: `dm.top_pages_daily`
|
||||
|
||||
**Чему учит:** зерно сменилось — значит витрина материализуется, живет
|
||||
дневными партициями и встает в конвейер. Первая настоящая витрина: пять
|
||||
объектов, донор, замена партиции, задача в `dm_transform`.
|
||||
**Чему учит:** создавать витрину с новым зерном: пять объектов, донор и
|
||||
замена дневных партиций. Включать ее пересборку в `dm_transform`.
|
||||
|
||||
## Сначала прочитать
|
||||
|
||||
- [«Хранилище и его слои»](../handbook/storage-layers.md);
|
||||
- [«Потоки Airflow и даги модельного времени»](../handbook/airflow-dags.md).
|
||||
|
||||
## Роль витрины
|
||||
|
||||
Популярность страниц по дням: сколько раз страницу открыли, сколько разных
|
||||
посетителей ее видели и что на ней делали кроме просмотра.
|
||||
По дневным показателям страниц аналитик сравнивает просмотры, посетителей и
|
||||
действия с товарами. Добавление в корзину происходит на карточке товара,
|
||||
покупка — на странице подтверждения заказа. Отношение добавлений к
|
||||
просмотрам карточки показывает ее конверсию.
|
||||
|
||||
Торговое событие садится на ту страницу, где случилось: корзина — на
|
||||
карточку товара, покупка — на страницу подтверждения заказа. Поэтому у
|
||||
карточки товара рядом стоят просмотры и корзины, и их отношение —
|
||||
конверсия карточки — главный вопрос к этой витрине: какие товары кладут в
|
||||
корзину, едва открыв, а какие смотрят и уходят.
|
||||
Для воронки «просмотр → корзина → покупка» этих данных недостаточно:
|
||||
действия происходят на разных страницах, а связи между ними в агрегате нет.
|
||||
Путь человека исследуют по событиям или сессиям.
|
||||
|
||||
Воронки «просмотр → корзина → покупка» здесь нет и быть не может: корзина и
|
||||
покупка живут на разных страницах, и связать их шаги в одну цепочку на
|
||||
зерне страницы не из чего. Путь одного человека собирают из событий или из
|
||||
сессий, а витрина страниц отвечает про страницу.
|
||||
## Что сделать
|
||||
|
||||
## Зерно и форма
|
||||
Источник — `dds.event_v`. Зерно витрины — **день события × страница**.
|
||||
Читайте DDS напрямую: так выполнение задания не зависит от витрины
|
||||
задания 1.
|
||||
|
||||
Зерно — **день события × страница**. Источник — события, у него зерно
|
||||
события, значит зерно сменилось и витрина материализуется:
|
||||
`dm.top_pages_daily_rep` / `_dist`, донор `_stage_rep` / `_stage_dist`,
|
||||
публичное `dm.top_pages_daily_v`.
|
||||
На стенде витрину с новым зерном хранят как готовый агрегат, чтобы не
|
||||
рассчитывать ее заново для каждого запроса. Причины описаны в разделе
|
||||
[«Как принято на ступени 1»](README.md#как-принято-на-ступени-1). Создайте
|
||||
пять объектов:
|
||||
`dm.top_pages_daily_rep` / `_dist`, донор `_stage_rep` / `_stage_dist` и
|
||||
публичное представление `dm.top_pages_daily_v`. Ключ партиции — день, он же
|
||||
единица пересборки.
|
||||
|
||||
Страница — это `page_path`, путь `url` без домена и параметров запроса;
|
||||
считается он здесь же, из колонки `url` источника. Полный адрес в зерно не
|
||||
берется: с параметрами запроса одна и та же страница рассыпалась бы на
|
||||
сотни строк, и витрина перестала бы отвечать на свой вопрос.
|
||||
### Состав колонок
|
||||
|
||||
Ключ партиции — день: он же единица пересборки.
|
||||
|
||||
Источник — `dds.event_v`, публичный договор события. Витрина задания 1
|
||||
источником не служит: витрина слоя DM читает договор DDS, как и стендовые
|
||||
витрины, и не зависит от того, выполнена ли соседняя домашка.
|
||||
|
||||
## Состав колонок
|
||||
|
||||
| Колонка | Тип | Что это |
|
||||
| Колонка | Тип | Значение |
|
||||
|---|---|---|
|
||||
| `report_date` | `Date` | день события |
|
||||
| `page_path` | `LowCardinality(String)` | путь страницы |
|
||||
| `pageviews` | `UInt64` | число событий `pageview` на странице |
|
||||
| `visitors` | `UInt64` | число разных `client_id` на странице |
|
||||
| `cart_adds` | `UInt64` | число событий `add_to_cart` на странице |
|
||||
| `purchases` | `UInt64` | число событий `purchase` на странице |
|
||||
| `_load_id` | `String` | запуск, собравший день |
|
||||
| `_load_ts` | `DateTime64(3, 'UTC')` | когда собран |
|
||||
| `report_date` | `Date` | День события |
|
||||
| `page_path` | `LowCardinality(String)` | Путь страницы |
|
||||
| `pageviews` | `UInt64` | Число событий `pageview` на странице |
|
||||
| `visitors` | `UInt64` | Число разных `client_id` на странице |
|
||||
| `cart_adds` | `UInt64` | Число событий `add_to_cart` на странице |
|
||||
| `purchases` | `UInt64` | Число событий `purchase` на странице |
|
||||
| `_load_id` | `String` | Идентификатор запуска, собравшего день |
|
||||
| `_load_ts` | `DateTime64(3, 'UTC')` | Время сборки |
|
||||
|
||||
Счетчики условные: строку дают все три типа событий, а различает их
|
||||
`countIf`. Отфильтровать источник по `event_type = 'pageview'`, как
|
||||
подсказывает имя витрины, — значит получить витрину из одних просмотров:
|
||||
страницы останутся на месте, а `cart_adds` и `purchases` у всех строк
|
||||
обнулятся. Ошибка тихая: витрина выглядит собранной, и главный ее вопрос —
|
||||
конверсия карточки — молча отвечает «ноль везде».
|
||||
Вычислите `page_path` из `url`, убрав домен и параметры запроса. Полный
|
||||
адрес разделил бы показатели одной страницы на сотни строк. Учитывайте все
|
||||
три типа событий, а их счетчики вычисляйте через `countIf`.
|
||||
|
||||
## Ритм пересборки
|
||||
### Ритм пересборки
|
||||
|
||||
Источник — события: день замерзает сразу, как только прожит. Значит
|
||||
пересобирать нужно только то, что еще не собрано: хвост дней, которых в
|
||||
витрине нет, — от первого несобранного прожитого дня до последнего
|
||||
прожитого. Готовые дни трогать незачем, а вот дыру, оставленную частичным
|
||||
отказом, объем прогона обязан подобрать: ищите не последний собранный день, а
|
||||
первый несобранный.
|
||||
События прожитого дня больше не меняются. Определяйте объем прогона по
|
||||
состоянию витрины: от первого несобранного прожитого дня до последнего
|
||||
прожитого. Отсчет от последнего собранного дня оставит пропуски после
|
||||
частичного сбоя.
|
||||
|
||||
Механика — сборка отрезка в донор одной вставкой и замена дневных партиций
|
||||
по одной, как у `revenue_daily`.
|
||||
Как у `revenue_daily`, заполните донор за весь диапазон одной вставкой,
|
||||
затем замените дневные партиции по одной.
|
||||
|
||||
## Ключ шардирования
|
||||
### Ключ шардирования
|
||||
|
||||
Ваше решение по [правилу донора](../architecture/storage.md), «Раскладка по
|
||||
шардам». Подумайте, чем эта витрина отличается от `revenue_daily`: там кроме
|
||||
дня было одно измерение из шести близких по объему значений, здесь —
|
||||
страницы, которых много и которые по популярности очень неровные.
|
||||
Выберите ключ самостоятельно. У `revenue_daily` кроме дня одно измерение с
|
||||
шестью близкими по объему значениями. Здесь страниц много, и число событий
|
||||
на них сильно различается.
|
||||
|
||||
У цели и донора используйте одинаковый ключ: иначе при замене партиции
|
||||
строка потеряется на одном шарде и удвоится на другом. О том, [как устроен
|
||||
донор](../architecture/storage.md), читайте в разделе «Раскладка по шардам».
|
||||
|
||||
## Типичная ошибка
|
||||
|
||||
Из-за имени витрины хочется отобрать только просмотры. Но фильтр источника
|
||||
по `event_type = 'pageview'` обнулит `cart_adds` и `purchases`, а запрос не
|
||||
завершится ошибкой. Конверсия карточек станет нулевой. Проверка одной суммы
|
||||
`pageviews` не обнаружит этот фильтр: все просмотры остались на месте.
|
||||
Ошибку покажет сверка `purchases` или `cart_adds` с источником, если за день
|
||||
были покупки или добавления в корзину.
|
||||
|
||||
Выбирайте проверку под возможную ошибку. Этот подход описан в
|
||||
[справочнике проверок](../architecture/testing.md).
|
||||
|
||||
## Как проверить себя
|
||||
|
||||
Деловой ключ — `page_path` внутри дня. Соберите прямой агрегат из
|
||||
`dds.event_v` за день, соедините с `dm.top_pages_daily_v` полным внешним
|
||||
соединением по ключу и посчитайте строки, где ключа нет с одной из сторон или
|
||||
где расходится любой из четырех счетчиков. Ноль — зеленый.
|
||||
Деловой ключ — `page_path` внутри дня. Получите прямой агрегат из
|
||||
`dds.event_v` за день и соедините его с `dm.top_pages_daily_v` полным
|
||||
внешним соединением по ключу. Посчитайте строки, где ключ отсутствует с
|
||||
одной из сторон или различается любой из четырех счетчиков. Расхождений
|
||||
должно быть ноль.
|
||||
|
||||
Две проверки попроще, ими удобно ловить грубую ошибку до полного
|
||||
соединения:
|
||||
Перед полным сравнением проверьте дневные суммы:
|
||||
|
||||
- сумма `pageviews` за день равна числу событий `pageview` этого дня в
|
||||
`dds.event_v`;
|
||||
- сумма `purchases` за день равна числу событий `purchase` этого дня.
|
||||
- сумма `pageviews` равна числу событий `pageview` в `dds.event_v`;
|
||||
- сумма `purchases` равна числу событий `purchase` в том же источнике.
|
||||
|
||||
Проверки ловят разное. Фильтр `WHERE event_type = 'pageview'` первая из них
|
||||
пропускает: отбор строк по типу не меняет счет событий того же типа.
|
||||
Расхождение покажет только вторая — вместе с `cart_adds` обнулятся и
|
||||
`purchases`. Проверку выбирают по тому, умеет ли она покраснеть на вашей
|
||||
ошибке, а не по тому, как быстро она пишется: [проверка, которая не умеет
|
||||
краснеть, бесполезна](../architecture/testing.md).
|
||||
|
||||
`visitors` складывать по строкам нельзя: один посетитель ходит по разным
|
||||
страницам и в сумме посчитается несколько раз. Число посетителей дня
|
||||
спрашивают у `dm.daily_traffic_v`, а не у этой витрины.
|
||||
Сумма `visitors` по страницам повторно учитывает посетителя, открывшего
|
||||
несколько страниц. Число посетителей за день берите из `dm.daily_traffic_v`.
|
||||
|
||||
## Приемка
|
||||
|
||||
- [ ] пять объектов витрины созданы, донор объявлен через `AS` и шардируется
|
||||
ключом цели;
|
||||
- [ ] `dm.top_pages_daily_v` перечисляет колонки явно, включая `_load_id` и
|
||||
`_load_ts`;
|
||||
- [ ] объем прогона выводится из состояния витрины, а не задается руками;
|
||||
- [ ] задача `top_pages_daily` в `homework_check` зеленая;
|
||||
- [ ] созданы пять объектов, донор объявлен через `AS` и шардируется ключом
|
||||
цели;
|
||||
- [ ] в `dm.top_pages_daily_v` явно перечислены колонки, включая `_load_id`
|
||||
и `_load_ts`;
|
||||
- [ ] объем прогона определяется по состоянию витрины без ручного задания;
|
||||
- [ ] задача `top_pages_daily` в `homework_check` завершилась успешно;
|
||||
- [ ] задача витрины добавлена в `dm_transform`, повторный прогон конвейера
|
||||
результат не меняет.
|
||||
не меняет результат.
|
||||
Reference in new issue
Block a user