diff --git a/README.md b/README.md index 7cfa18a..72bc739 100644 --- a/README.md +++ b/README.md @@ -413,6 +413,7 @@ NiFi — визуальный конструктор потоков данных Знакомство с Kafka здесь пригодится и дальше: стенд по ClickHouse в следующей секции принимает данные именно через Kafka. ### ClickHouse +ClickHouse — колоночная СУБД для аналитики на больших объёмах: миллиарды строк, агрегации за секунды. В российских компаниях это фактический стандарт для витрин, отчётности и продуктовой аналитики, поэтому на собеседованиях тема всплывает часто. Материалы: @@ -426,7 +427,11 @@ NiFi — визуальный конструктор потоков данных ### Lakehouse (Spark, Iceberg, Trino) -Lakehouse — архитектурный подход, который объединяет дешевизну и гибкость Data Lake с «взрослыми» возможностями классического DWH. В классическом DWH данные и вычисления живут внутри одной СУБД, в её собственном закрытом формате. В Lakehouse хранение и вычисления разделены: данные лежат в дешёвом хранилище (обычно объектном, вроде S3) в открытых форматах, слой табличных метаданных добавляет поверх файлов привычные по СУБД гарантии — схемы, транзакции, историю изменений, — а вычислительные движки подключаются к одним и тем же данным снаружи и масштабируются независимо; их может быть несколько разных одновременно. Конкретные технологии на каждом уровне варьируются: табличные форматы — Iceberg, Delta Lake, Hudi; движки — Spark, Trino, Flink и другие. Роадмап фокусируется на классическом DWH-стеке, поэтому здесь цель — знакомство, но с настоящей практикой, а не только теорией: стенд ниже собирает один из типовых наборов этого конструктора. +Lakehouse — архитектурный подход, который соединяет гибкость Data Lake с гарантиями классического DWH. + +В классическом DWH данные и вычисления живут внутри одной СУБД, в её закрытом формате. В Lakehouse они разделены. Данные лежат файлами в дешёвом хранилище (обычно объектном, вроде S3). Открытый табличный формат (Iceberg, Delta, Hudi) добавляет поверх файлов привычные по СУБД вещи: схемы, транзакции, историю изменений. А вычислительные движки (Spark, Trino, Flink и другие) подключаются к данным снаружи — хоть несколько разных к одним и тем же таблицам. + +Роадмап фокусируется на классическом DWH-стеке, поэтому цель здесь — знакомство, но с настоящей практикой: стенд ниже собирает один из типовых наборов этого конструктора. Материалы: