Dmitry DementievandClaude Fable 5
4bb0bdfd1a
Зачем: при нарезке этапов выяснилось, что образцы DAG'ов из v1 написаны под Airflow 2 и переносятся не буквально — в третьей версии Datasets переименованы в Assets. Без явной записи в спеке версия всплыла бы уже при написании DAG'ов этапа 5. Что: в раздел «Проверить при исполнении» добавлен пункт про Airflow 3.x — версия фиксируется на этапе 1 (каркас стенда), DAG'и этапа 5 пишутся под API третьей версии, операторы и сенсоры сверяются через Context7. Проверка: правка текстовая, только спека; тот же порядок продублирован в тикетах этапов 1 и 5 в трекере. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Учебная дата-платформа кликстрима
Стенд для работы с кликстримом: Kafka, кластер ClickHouse (2 шарда и clickhouse-keeper), Airflow, Superset. Преемник учебного стенда clickstream-ch-kafka-superset-demo.
Статус
Репозиторий строится по спеке «Боевой реализм стенда (v2)». Работающего стенда пока нет: здесь только спека, исследование формата данных и контракт работы (AGENTS.md). Быстрый старт появится вместе с этапом «Каркас стенда».
Что здесь будет
- одно широкое событие кликстрима по образцу выгрузки Яндекс Метрики вместо четырёх топиков;
- второй источник — заказы бэкенда, ежедневным слепком в ту же Kafka;
- сверка клиентской покупки с заказом бэкенда: деньги считаем по бэкенду, поведение и атрибуцию — по трекеру;
- анонимный кликстрим и склейка кука↔пользователь через покупки;
- ClickHouse кластером как единственным режимом.
Чем отличается от предшественника
Предшественник остаётся стабильным учебным стендом и заморожен для новых фич: там событие разрезано на четыре топика, есть только просмотры страниц, посетители опознаны по email, ClickHouse — одна нода. Развитие идёт здесь.
Документация
- docs/specs/ — спеки: источник истины о задуманном.
- docs/research/ — исследования; сейчас это формат кликстрима Яндекса, по которому строится модель события.
- AGENTS.md — контракт работы в репозитории.