From afcce5dc4a1ae634c915a034db16a7fd2416f019 Mon Sep 17 00:00:00 2001 From: Dmitry Dementev Date: Sun, 12 Jul 2026 19:44:13 +0300 Subject: [PATCH] =?UTF-8?q?docs:=20=D0=B2=D1=8B=D1=80=D0=BE=D0=B2=D0=BD?= =?UTF-8?q?=D0=B5=D0=BD=D1=8B=20=D0=B2=D0=B2=D0=B5=D0=B4=D0=B5=D0=BD=D0=B8?= =?UTF-8?q?=D1=8F=20=D1=81=D0=B5=D0=BA=D1=86=D0=B8=D0=B9=20ClickHouse=20?= =?UTF-8?q?=D0=B8=20Lakehouse?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Зачем: - введение Lakehouse было одним громоздким абзацем, тяжело читалось; - секция ClickHouse, наоборот, начиналась сразу со списка ссылок - Что: - введение Lakehouse разбито на три коротких абзаца с простыми фразами, смысл сохранён (разделение хранения и вычислений, роль табличного формата, вариативность технологий); - в ClickHouse добавлены два вводных предложения: что это и почему тема важна для собеседований - Проверка: - mkdocs build --strict (без ошибок) Co-Authored-By: Claude Fable 5 --- README.md | 7 ++++++- 1 file changed, 6 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 7cfa18a..72bc739 100644 --- a/README.md +++ b/README.md @@ -413,6 +413,7 @@ NiFi — визуальный конструктор потоков данных Знакомство с Kafka здесь пригодится и дальше: стенд по ClickHouse в следующей секции принимает данные именно через Kafka. ### ClickHouse +ClickHouse — колоночная СУБД для аналитики на больших объёмах: миллиарды строк, агрегации за секунды. В российских компаниях это фактический стандарт для витрин, отчётности и продуктовой аналитики, поэтому на собеседованиях тема всплывает часто. Материалы: @@ -426,7 +427,11 @@ NiFi — визуальный конструктор потоков данных ### Lakehouse (Spark, Iceberg, Trino) -Lakehouse — архитектурный подход, который объединяет дешевизну и гибкость Data Lake с «взрослыми» возможностями классического DWH. В классическом DWH данные и вычисления живут внутри одной СУБД, в её собственном закрытом формате. В Lakehouse хранение и вычисления разделены: данные лежат в дешёвом хранилище (обычно объектном, вроде S3) в открытых форматах, слой табличных метаданных добавляет поверх файлов привычные по СУБД гарантии — схемы, транзакции, историю изменений, — а вычислительные движки подключаются к одним и тем же данным снаружи и масштабируются независимо; их может быть несколько разных одновременно. Конкретные технологии на каждом уровне варьируются: табличные форматы — Iceberg, Delta Lake, Hudi; движки — Spark, Trino, Flink и другие. Роадмап фокусируется на классическом DWH-стеке, поэтому здесь цель — знакомство, но с настоящей практикой, а не только теорией: стенд ниже собирает один из типовых наборов этого конструктора. +Lakehouse — архитектурный подход, который соединяет гибкость Data Lake с гарантиями классического DWH. + +В классическом DWH данные и вычисления живут внутри одной СУБД, в её закрытом формате. В Lakehouse они разделены. Данные лежат файлами в дешёвом хранилище (обычно объектном, вроде S3). Открытый табличный формат (Iceberg, Delta, Hudi) добавляет поверх файлов привычные по СУБД вещи: схемы, транзакции, историю изменений. А вычислительные движки (Spark, Trino, Flink и другие) подключаются к данным снаружи — хоть несколько разных к одним и тем же таблицам. + +Роадмап фокусируется на классическом DWH-стеке, поэтому цель здесь — знакомство, но с настоящей практикой: стенд ниже собирает один из типовых наборов этого конструктора. Материалы: