ddmitry/clickstream-data-platform
1
0 Fork 0
Code Issues 5 Pull Requests Actions Packages Projects 1 Releases Wiki Activity
366 Commits 3 Branches 0 Tags
main
Commit Graph
100 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ddmitry 3c3eb825e1 Merge pull request 'docs(labs): история связей и инкрементальное обновление витрины' (#256) from labs/identity-incremental into main 
Reviewed-on: #256
 2026-09-22 15:30:25 +03:00
ddmitry c1d3a6db9b feat(labs): добавлены четыре расследования выручки (#255) 
Зачем: дать учащемуся практику проверки полноты, повторов и изменений данных для витрин.

Что: добавлены четыре лабораторные и учебная учетная запись для сохранения наблюдений.

Проверка: SQL и права student на стенде, восемь модельных дней через Airflow, config-test, lint и ссылки.
 2026-09-22 12:13:33 +03:00
ddmitry 7a002f4d5a Merge pull request 'docs(ui): уточнены подсказки и сообщения учебного стенда' (#254) from 251-ui-texts into main 2026-09-14 09:08:40 +03:00
ddmitry 83434102d5 docs(warehouse): упрощены объяснения витрин, сессий и пересчета (#253) 2026-09-13 22:22:40 +03:00
ddmitry 84dc718f62 docs(context): влита редактура словаря (#252) 2026-09-13 21:00:12 +03:00
ddmitry 3ac3911e95 Merge pull request 'feat(superset): подача дашборда «Бизнес-сюжеты»' (#247) from 200-superset-dashboard-polish into main 
Reviewed-on: #247
 2026-09-08 12:28:57 +03:00
ddmitry 7b4842d684 Merge pull request 'Факультативы в отдельной папке' (#245) from 244-optional-labs into main 
Reviewed-on: #245
 2026-09-07 14:54:09 +03:00
ddmitry 1671e67813 Merge pull request 'docs(labs): добавлено задание по мониторингу' (#243) from 242-monitoring-lab into main 
Reviewed-on: #243
 2026-09-07 12:23:14 +03:00
ddmitry 9734449eae Merge pull request 'docs(labs): добавлено задание по разбору событий' (#241) from 240-event-parsing-lab into main 
Reviewed-on: #241
 2026-09-07 10:58:05 +03:00
ddmitry 7ca39edb4c Merge pull request 'docs(labs): добавлена ступень по проверкам заказов' (#239) from 238-order-checks-lab into main 
Reviewed-on: #239
 2026-09-06 23:29:27 +03:00
ddmitry d7e8a6f1a1 Merge pull request 'docs(labs): ТЗ ступени 4 «Перепиши нарезку стенда»' (#237) from 236-session-pipeline-lab into main 
Reviewed-on: #237
 2026-09-06 19:27:55 +03:00
ddmitry 2a06582062 Merge pull request 'docs(handbook): раздел DDS главы о хранилище дополнен сессией и примером' (#235) from 234-dds-chapter into main 
Reviewed-on: #235
 2026-09-06 18:03:43 +03:00
ddmitry 4c95dc3a5b Merge pull request 'docs(labs): ТЗ ступени 3 «Нарежь сессии сам»' (#233) from 232-lab-sessions into main 
Reviewed-on: #233
 2026-09-06 17:40:42 +03:00
ddmitry 6804929fb0 Merge pull request 'docs(labs): файлы ТЗ переименованы по схеме S-N-slug' (#231) from 230-labs-filenames into main 
Reviewed-on: #231
 2026-09-06 16:16:33 +03:00
ddmitry 8b9258ed41 Merge pull request 'docs(labs): проза пяти ТЗ ступени 1 и раздел «Как принято на ступени 1»' (#229) from 228-labs-prose into main 
Reviewed-on: #229
 2026-09-06 16:05:27 +03:00
ddmitry dc2cbc99dc Merge pull request 'docs(labs): ТЗ ступени 2 «Свой график в Superset» и порядок программы' (#227) from 226-superset-chart into main 
Reviewed-on: #227
 2026-09-06 12:59:32 +03:00
ddmitry 92948986a0 Merge pull request 'docs(handbook): добавить поле «Как соединяет» на карте' (#225) from 224-edge-join into main 
Reviewed-on: #225
 2026-09-03 12:32:41 +03:00
ddmitry fddb35c8c4 Merge pull request 'docs(handbook): интерактивная карта слоев хранилища' (#223) from 222-architecture-map into main 
Reviewed-on: #223
 2026-09-03 11:06:36 +03:00
ddmitry 4995628f2a Merge pull request 'docs(handbook): четыре главы путеводителя — Airflow, мониторинг, Superset, генератор' (#221) from 220-handbook-chapters into main 
Reviewed-on: #221
 2026-09-03 09:03:53 +03:00
ddmitry b15d5253ee Merge pull request 'docs(handbook): глава «Хранилище и его слои»' (#219) from 218-storage-chapter into main 
Reviewed-on: #219
 2026-09-02 23:19:15 +03:00
ddmitry 354b8abe56 Merge pull request 'docs(readme): корневой README пересобран по четырем блокам' (#217) from 216-readme-rebuild into main 
Reviewed-on: #217
 2026-09-02 22:44:54 +03:00
ddmitry e56b23816e Merge pull request 'docs(glossary): четыре термина переименованы, world.md и stand.md вычитаны' (#215) from 214-glossary-terms into main 
Reviewed-on: #215
 2026-09-02 18:09:13 +03:00
ddmitry 86ad8afaf2 Merge pull request 'docs(architecture): операторские разделы README переехали в справочники' (#213) from 212-operator-sections-move into main 
Reviewed-on: #213
 2026-09-01 23:27:05 +03:00
ddmitry 2588515b9a Merge pull request 'docs(handbook): скелет путеводителя и README-шапка' (#210) from 209-handbook-skeleton into main 
Reviewed-on: #210
 2026-09-01 21:30:25 +03:00
ddmitry d1dc0dd7bf Merge pull request 'docs(specs): итог тикета #203 в разделе 9 спеки программы лаб' (#207) from 203-map-endpoint into main 2026-09-01 16:33:26 +03:00
ddmitry c26b4530f3 Merge pull request 'docs(specs): спека программы учебных лаб' (#205) from 202-labs-program-spec into main 
Reviewed-on: #205
 2026-09-01 16:13:49 +03:00
ddmitry 22bf09af9d Merge pull request 'docs(research): инвентаризация сюжетов лаб по слоям стенда' (#204) from research/labs-inventory into main 2026-08-31 18:39:20 +03:00
ddmitry d22156a7da Merge pull request 'docs(labs): ТЗ необязательной лабы «свой дашборд в Superset»' (#199) from 197-superset-lab into main 
Reviewed-on: #199
 2026-08-31 11:07:53 +03:00
ddmitry cd82911906 Merge pull request 'feat(superset): датасеты и дашборд «Бизнес-сюжеты» (этап 8)' (#198) from 196-superset-dashboard into main 
Reviewed-on: #198
 2026-08-31 10:26:41 +03:00
ddmitry c999153acb Merge pull request 'feat(generator): откалиброваны доли заказной стороны' (#195) from 194-calibration into main 
Reviewed-on: #195
 2026-08-30 23:49:13 +03:00
ddmitry c3a105a0f8 Merge pull request 'feat(generator): эталонный мир зафиксирован равным стартовому' (#193) from 192-stage7-tail into main 
Reviewed-on: #193
 2026-08-30 23:48:10 +03:00
ddmitry f93c924b33 Merge pull request 'feat(generator): добавлено опоздание заказов в слепках' (#191) from 185-late-orders into main 
Reviewed-on: #191
 2026-08-29 10:06:31 +03:00
ddmitry 58e944aa87 Merge pull request 'feat(generator): потеря и дубль purchase (B, D) и счетчики описи' (#189) from 184-beacons into main 
Reviewed-on: #189
 2026-08-28 21:58:23 +03:00
ddmitry c49f39f01f Merge pull request 'docs(generator): заморозка спеки этапа 2 и ADR 0015-0017' (#181) from spec-freeze into main 
Reviewed-on: #181
 2026-08-28 16:27:37 +03:00
ddmitry 9cc3e5ae3b Merge pull request 'docs(generator): путеводитель по генератору и живой проход make demo' (#179) from 48-generator-guide into main 
Reviewed-on: #179
 2026-08-28 15:03:35 +03:00
ddmitry 2a13f46a6d Merge pull request 'fix(compose): устранена гонка сборки общих образов' (#178) from fix/compose-shared-image-build into main 
Reviewed-on: #178
 2026-08-28 13:05:17 +03:00
ddmitry 5946175efa Merge pull request 'fix(grafana): исправлена загрузка плагина при сборке' (#177) from fix/grafana-plugin-download into main 
Reviewed-on: #177
 2026-08-28 12:42:27 +03:00
ddmitry cdfa31f51d Merge pull request 'fix(superset): стабилизирована проверка рабочего контура' (#176) from 172-superset-cold-check into main 
Reviewed-on: #176
 2026-08-28 12:41:25 +03:00
ddmitry 1fae4e589f Merge pull request 'feat(airflow): пульт мира объясняет ось дней в форме и журнале' (#175) from 111-world-date into main 
Reviewed-on: #175
 2026-08-28 12:16:38 +03:00
ddmitry 33aef73d0e Merge pull request 'feat(dm): учебные задания витрин DM и даг самопроверки' (#174) from 159-dm-labs into main 
Reviewed-on: #174
 2026-08-28 09:53:45 +03:00
ddmitry 35d43125b1 Merge pull request 'feat(dq): добавлен контроль качества конвейера' (#173) from 158-dq-pipeline into main 
Reviewed-on: #173
 2026-08-27 18:42:44 +03:00
ddmitry 4e60aafc31 Merge pull request 'feat(etl): добавлен дневной конвейер трансформаций' (#171) from 156-etl-pipeline into main 
Reviewed-on: #171
 2026-08-27 13:13:25 +03:00
ddmitry 2a6162237c Merge pull request 'feat(dm): добавлена сверка покупок с заказами' (#170) from 155-purchase-vs-orders into main 
Reviewed-on: #170
 2026-08-27 11:55:50 +03:00
ddmitry fb00bbe4c3 Merge pull request 'feat(dm): добавлены витрины выручки и трафика' (#169) from 154-dm-marts into main 
Reviewed-on: #169
 2026-08-26 22:23:38 +03:00
ddmitry c9bcacd63b Merge pull request 'feat(dds): добавлена карта идентичностей' (#168) from 153-dds-identity-map into main 
Reviewed-on: #168
 2026-08-26 19:52:52 +03:00
ddmitry cdd44c469f Merge pull request 'feat(ods): версией заказа стала дата слепка, окно DDS — из данных' (#167) from 165-ods-order-version-snapshot-date into main 
Reviewed-on: #167
 2026-08-26 18:50:37 +03:00
ddmitry 650efacc3f Merge pull request 'feat(dds): модель сессии и нарезка визитов окнами' (#166) from 152-dds-session-model into main 
Reviewed-on: #166
 2026-08-26 16:19:06 +03:00
ddmitry 9ab43e79cc Merge pull request 'feat(dds): модель заказа и пересборка окна заменой партиций' (#164) from 151-dds-order-model into main 
Reviewed-on: #164
 2026-08-26 12:36:09 +03:00
ddmitry 96829718f9 Merge pull request 'docs(dds): уточнён публичный контракт события' (#162) from 150-dds-event-review-fixes into main 2026-08-26 00:54:21 +03:00
ddmitry b8a5a6171c Merge pull request 'feat(dds): добавлен публичный контракт события' (#161) from 150-dds-event-contract into main 
Reviewed-on: #161
 2026-08-26 00:45:37 +03:00
ddmitry 4ea9591a16 Merge pull request 'Опись мира: счётчики классов A и C' (#160) from 157-inventory-class-counters into main 2026-08-25 20:13:38 +03:00
ddmitry f1fee5f1d1 Merge pull request 'Слой витрин DM: форма по зерну, дележ с менти, контур DQ' (#147) from 135-dm-marts into main 
Reviewed-on: #147
 2026-08-25 13:38:21 +03:00
ddmitry 70270c2d54 Merge pull request 'Дневной конвейер трансформаций: etl_pipeline рождается этапом 4' (#146) from 134-etl-pipeline into main 2026-08-25 10:26:53 +03:00
ddmitry 256d51840b Merge pull request 'Контракт dds.event_v: язык модели, расшифровки, скрытые колонки' (#144) from 132-dds-event-contract into main 
Reviewed-on: #144
 2026-08-24 21:11:59 +03:00
ddmitry 83f4e0952b Merge pull request 'Модель сессии в DDS: нарезка стендом, эталон VisitID, дневная партиция' (#142) from 131-dds-session-model into main 
Reviewed-on: #142
 2026-08-24 20:42:03 +03:00
ddmitry 111315990b Merge pull request 'Модель заказа в DDS: зерно, массивы позиций, замена партиций' (#141) from 130-dds-order-model into main 
Reviewed-on: #141
 2026-08-24 19:09:30 +03:00
ddmitry 1adacc6d7c Merge pull request 'docs(research): соединение Distributed-таблиц на кластере' (#140) from research/distributed-join into main 2026-08-22 11:42:09 +03:00
ddmitry d359882e1d Merge pull request 'docs(research): проталкивание условий сквозь представления над FINAL' (#139) from research/view-predicate-pushdown into main 2026-08-22 11:42:05 +03:00
ddmitry 544e500dc8 Merge pull request 'Разложить заказы в ODS по своему ключу шардирования' (#138) from 137-orders-shard-colocation into main 
Reviewed-on: #138
 2026-08-22 11:38:55 +03:00
ddmitry ea39982bdd Merge pull request 'Подключить официальный провайдер ClickHouse к Airflow' (#126) from 124-airflow-clickhouse-provider into main 
Reviewed-on: #126
 2026-08-22 10:06:05 +03:00
ddmitry 587e392220 Merge pull request 'Передать жизненный цикл мира Airflow' (#125) from 119-world-lifecycle into main 
Reviewed-on: #125
 2026-08-21 23:55:50 +03:00
ddmitry 0340b060f2 Merge pull request 'Мониторинг: дашборды «Кластер» и «Запросы»' (#123) from feat/116-cluster-queries-dashboards into main 
Reviewed-on: #123
 2026-08-21 22:34:22 +03:00
ddmitry 272660ff66 Merge pull request 'Мониторинг: справочник зоны — в набор документов' (#122) from feat/121-monitoring-docs into main 
Reviewed-on: #122
 2026-08-21 21:19:03 +03:00
ddmitry d43a9b348b Merge pull request 'Дашборд «Данные»: свежесть, поток, брак, сходимость' (#120) from feat/115-data-dashboard into main 
Reviewed-on: #120
 2026-08-21 20:52:52 +03:00
ddmitry 2ccb8ff72c Merge pull request 'Пол мониторинга: источник ClickHouse в Grafana и экспортёр Kafka' (#118) from feat/114-monitoring-floor into main 
Reviewed-on: #118
 2026-08-21 17:34:02 +03:00
ddmitry fd988babdf Merge pull request 'Упростить имена таблиц заказов в ODS' (#113) from feat/109-simplify-order-table-names into main 
Reviewed-on: #113
 2026-08-21 11:02:14 +03:00
ddmitry a24dfc4510 Merge pull request 'feat(stand): добавлены стартовые слепки заказов' (#112) from feat/96-start-world-snapshots into main 
Reviewed-on: #112
 2026-08-21 10:47:45 +03:00
ddmitry 664abf0160 Merge pull request 'Исправить отрицательный total после складской дельты' (#108) from fix/102-negative-order-total into main 
Reviewed-on: #108
 2026-08-20 13:17:36 +03:00
ddmitry 7b89ccb529 Merge pull request 'feat(clickhouse): справочники вынесены в зону dic, словарь читает подложку' (#107) from feat/105-dictionary-home into main 
Reviewed-on: #107
 2026-08-20 12:26:39 +03:00
ddmitry 862dde9fa4 Merge pull request 'feat(clickhouse): добавлен словарь товаров из каталога' (#104) from feat/95-product-dictionary into main 
Reviewed-on: #104
 2026-08-19 07:38:16 +03:00
ddmitry 62b275ef94 Merge pull request 'feat(orders): добавлен версионный ODS заказов' (#103) from feat/94-versioned-order-ods into main 
Reviewed-on: #103
 2026-08-18 23:58:54 +03:00
ddmitry 11a494f550 Merge pull request 'feat(orders): добавить приём слепков в STG' (#101) from feat/93-orders-ingestion into main 
Reviewed-on: #101
 2026-08-18 21:49:08 +03:00
ddmitry e67ee27a17 Merge pull request 'feat(generator): добавлена команда слепков заказов' (#100) from feat/92-order-snapshot into main 
Reviewed-on: #100
 2026-08-18 17:17:16 +03:00
ddmitry c11da3b252 Merge pull request 'feat(generator): добавлена судьба заказов' (#99) from feat/91-order-fate into main 
Reviewed-on: #99
 2026-08-18 16:06:32 +03:00
ddmitry 62941d2ee5 Merge pull request 'feat(generator): заказы дня — проекция покупок с деньгами магазина' (#98) from feat/90-order-projection into main 
Reviewed-on: #98
 2026-08-18 15:19:14 +03:00
ddmitry 716eafe865 Merge pull request 'Добавить каноническое чтение актуальных событий через ods.event_v' (#97) from feat/86-event-v into main 
Reviewed-on: #97
 2026-08-18 11:46:30 +03:00
ddmitry f51048dd23 Merge pull request 'feat(airflow): пульт мира — работники, выключатель, контейнер' (#83) from feat/79-world-control into main 
Reviewed-on: #83
 2026-08-13 15:09:19 +03:00
ddmitry 9d43ff5489 Merge pull request 'feat(clickhouse): реализована модель доступа' (#82) from feat/78-clickhouse-access into main 
Reviewed-on: #82
 2026-08-13 11:39:30 +03:00
ddmitry d5c5e14cd5 Merge pull request 'refactor(make): корень — про стенд, генератор — за своей дверью' (#77) from refactor/65-make-two-doors into main 
Reviewed-on: #77
 2026-08-09 22:14:48 +03:00
ddmitry 368fb1a66b Merge pull request 'refactor(compose): отделены локальные настройки от фактов стенда' (#76) from feat/60-compose-env-boundary into main 
Reviewed-on: #76
 2026-08-08 22:01:28 +03:00
ddmitry 5d012cc222 Merge pull request 'feat(ddl): часовые пояса — линза названа явно' (#75) from docs/63-timezone-convention into main 
Reviewed-on: #75
 2026-08-08 20:16:55 +03:00
ddmitry c382b0390f Merge pull request 'docs: приёмка этапа 2 и порог, который оказался гигиеной' (#67) from docs/priyomka-etapa-2 into main 
Reviewed-on: #67
 2026-08-07 20:56:34 +03:00
ddmitry 600bd74b04 Merge pull request 'feat(stand): стартовый мир при make up и опись, которая его сторожит' (#64) from feat/42-world-manifest into main 
Reviewed-on: #64
 2026-08-07 19:34:14 +03:00
ddmitry f3ebc115ba Merge pull request 'feat(ods): типизированное событие, строгий приём и таблица ошибок' (#62) from feat/43-ods-event into main 
Reviewed-on: #62
 2026-08-07 16:50:44 +03:00
ddmitry 77fa2905a2 Merge pull request 'feat(generator): сериализатор, приёмники, проигрыватель и запуск контейнером' (#61) from feat/41-serializer-sinks-cli into main 
Reviewed-on: #61
 2026-08-07 14:37:22 +03:00
ddmitry 896c846cbc Merge pull request 'refactor(config-test): срезан разбор Bash — он не ловил ничего' (#59) from refactor/config-test-bez-razbora-bash into main 
Reviewed-on: #59
 2026-08-06 17:23:58 +03:00
ddmitry 4245daf3f1 Merge pull request 'refactor(smoke): цели проверки по назначению — смоук, ClickHouse, службы' (#58) from refactor/54-proverki-po-naznacheniyu into main 
Reviewed-on: #58
 2026-08-06 16:04:38 +03:00
ddmitry f84f8c416f Merge pull request 'refactor(smoke): срезаны проверки стенда, не служащие менти' (#57) from refactor/56-srezat-proverki-stenda into main 
Reviewed-on: #57
 2026-08-06 14:10:44 +03:00
ddmitry 18200fb97f Merge pull request 'docs(agents): правка тела issue идёт через API, а не через tea' (#55) from docs/issue-tracker-api-recipes into main 
Reviewed-on: #55
 2026-08-06 09:28:04 +03:00
ddmitry c99e853fd3 Merge pull request 'feat(stg): DDL-бутстрап, топик hits и приём сырья обеими нодами' (#53) from feat/37-ddl-bootstrap-stg-ingest into main 
Reviewed-on: #53
 2026-08-06 09:21:18 +03:00
ddmitry a0144e0fff Merge pull request 'docs(storage): конвенции хранилища и приём событий перед этапом 2' (#52) from docs/37-storage-conventions into main 
Reviewed-on: #52
 2026-08-05 22:09:39 +03:00
ddmitry a18e6b7a80 Merge pull request 'Торговые события генератора: корзина, покупка и уровень спроса товара' (#51) from feat/40-trade-events into main 
Reviewed-on: #51
 2026-08-02 22:59:26 +03:00
ddmitry 898e00474a Merge pull request 'feat(generator): день-функция — трафик, визиты и просмотры страниц' (#49) from feat/39-day-function into main 
Reviewed-on: #49
 2026-08-02 16:32:47 +03:00
ddmitry 937ba014b4 Merge pull request 'feat(generator): план состава мира — зерно, приток, двухкуковые пары' (#46) from feat/38-world-plan into main 
Reviewed-on: #46
 2026-08-02 13:25:55 +03:00
ddmitry 557a9164fd Merge pull request 'chore(generator): типчекер ty и цель make typecheck' (#45) from chore/typecheck-ty into main 2026-08-02 12:00:24 +03:00
ddmitry 7b73af5a80 Merge pull request 'feat(generator): каркас проекта и контракт схемы события' (#44) from feat/36-generator-schema-contract into main 
Reviewed-on: #44
 2026-08-01 23:20:38 +03:00
ddmitry 9e04eae72a Merge pull request 'docs(specs): спека генератора (этап 2) из решений карты #26' (#35) from feat/32-generator-spec into main 
Reviewed-on: #35
 2026-08-01 21:05:47 +03:00
ddmitry c6c9e1082a Merge pull request 'fix(stand): снят несуществующий бюджет памяти, нодам ClickHouse — 4 ГиБ' (#25) from feat/21-resource-limits into main 
Reviewed-on: #25
 2026-08-01 15:29:07 +03:00
ddmitry d0c9e8ff43 Merge pull request 'refactor(airflow): пробник Kafka разрезан на запись и чтение' (#24) from feat/22-kafka-probe-form into main 
Reviewed-on: #24
 2026-07-31 20:25:52 +03:00
ddmitry c265ca0cd5 Merge pull request 'refactor(airflow): пробник ClickHouse разбит на четыре задачи' (#23) from feat/20-dag-probe-form into main 
Reviewed-on: #23
 2026-07-31 19:23:17 +03:00