From b9916ab2f5329901400b4ede445acdad32dc2161 Mon Sep 17 00:00:00 2001 From: Dmitry Dementev Date: Sat, 7 Mar 2026 00:46:38 +0300 Subject: [PATCH] =?UTF-8?q?docs(readme):=20=D1=83=D1=82=D0=BE=D1=87=D0=BD?= =?UTF-8?q?=D0=B5=D0=BD=D1=8B=20=D1=81=D1=85=D0=B5=D0=BC=D0=B0=20=D1=81?= =?UTF-8?q?=D1=82=D0=B5=D0=BD=D0=B4=D0=B0=20=D0=B8=20=D0=B1=D0=BB=D0=BE?= =?UTF-8?q?=D0=BA=20=D0=BC=D0=B5=D0=BD=D1=82=D0=BE=D1=80=D1=81=D1=82=D0=B2?= =?UTF-8?q?=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Зачем: - нужно точнее показать пользовательский путь по стенду и добавить понятную точку контакта с автором курса. - Что: - обновлена архитектурная диаграмма в README.md: добавлены пользователь, точки входа и явное разделение access, compute и shared services. - уточнены подписи к ролям компонентов стенда. - добавлен блок с контактами автора и предложением менторского разбора тем по Data Engineering. - Проверка: - сверены диаграмма и описания в README.md с фактической топологией docker-compose и сценарием использования через JupyterLab и Trino. --- README.md | 43 ++++++++++++++++++++++++++++++------------- 1 file changed, 30 insertions(+), 13 deletions(-) diff --git a/README.md b/README.md index a80f79e..2dd1d0a 100755 --- a/README.md +++ b/README.md @@ -10,25 +10,35 @@ ## Архитектура -```mermaid -graph LR - subgraph Storage - M[(MinIO
S3-compatible)] - end +Ниже показана упрощённая рабочая схема стенда: пользователь входит через `JupyterLab` и `Trino UI / CLI`, а `Spark` и `Trino` независимо работают поверх общего `storage` и общего `catalog`. - subgraph Catalog - P[(PostgreSQL
Iceberg JDBC catalog)] +```mermaid +graph TB + U[Student / engineer] + + subgraph Access + J[JupyterLab
notebooks / PySpark] + Q[Trino UI / CLI
ad hoc SQL] end subgraph Compute - S[Spark 3.5.1
PySpark / SQL] + S[Spark cluster
master + workers] T[Trino 478
Iceberg connector] end - S <--> M - S <--> P - T <--> M - T <--> P + subgraph Shared Services + P[(PostgreSQL
Iceberg JDBC catalog)] + M[(MinIO
S3-compatible)] + end + + U --> J + U --> Q + J --> S + Q --> T + S --> P + S --> M + T --> P + T --> M ``` Коротко по ролям: @@ -36,7 +46,8 @@ graph LR - `MinIO` хранит данные и служебные файлы Iceberg. - `PostgreSQL` хранит метаданные JDBC-каталога `lakehouse`. - `Spark` и `Trino` работают как два compute-движка поверх одного storage и одного catalog. -- `Jupyter` служит точкой входа в практическую часть курса. +- `JupyterLab` служит основной точкой входа в практическую часть курса. +- `Trino UI / CLI` даёт отдельную точку входа для ad hoc SQL и проверки таблиц. ## С чего начать @@ -97,6 +108,12 @@ docker compose ps - [trino/catalog/lakehouse.properties](./trino/catalog/lakehouse.properties) — конфигурация каталога Trino; - [docker-compose.yml](./docker-compose.yml) — фактический состав стенда. +## Автор и менторство + +Этот репозиторий и материалы курса можно проходить самостоятельно, но при желании их можно разбирать вместе с автором как с ментором по `Data Engineering`. + +Если хочешь глубже пройти темы `Spark`, `Trino`, `Iceberg`, `Lakehouse` и связанные практики по `DE`, напиши: [@dementev_dev](https://t.me/dementev_dev). + ## Лицензия Материалы этого репозитория лицензированы на условиях Creative Commons Attribution 4.0 International (`CC BY 4.0`).