ddadmin
92f3828a45
- Зачем: - формализация проверки всей цепочки ETL (STG -> ODS -> DDS -> DM). - Что: - создан docs/e2e-etl-test-protocol.md и sql/truncate_gp.sql. - в Makefile добавлена команда dwh-truncate. - start_date во всех DAG изменен на 2017-01-01. - Проверка: - выполнение make dwh-truncate и прогон DAG.
37 lines
1.1 KiB
SQL
37 lines
1.1 KiB
SQL
-- Скрипт для полной очистки всех слоев DWH (STG, ODS, DDS, DM).
|
|
-- Используется для сброса состояния перед проведением E2E-тестов.
|
|
|
|
-- 1. Слой STG (Сырые данные)
|
|
TRUNCATE stg.bookings,
|
|
stg.tickets,
|
|
stg.airports,
|
|
stg.airplanes,
|
|
stg.routes,
|
|
stg.seats,
|
|
stg.flights,
|
|
stg.segments,
|
|
stg.boarding_passes;
|
|
|
|
-- 2. Слой ODS (Текущее состояние, SCD1)
|
|
TRUNCATE ods.bookings,
|
|
ods.tickets,
|
|
ods.airports,
|
|
ods.airplanes,
|
|
ods.routes,
|
|
ods.seats,
|
|
ods.flights,
|
|
ods.segments,
|
|
ods.boarding_passes;
|
|
|
|
-- 3. Слой DDS (Схема "Звезда", SCD1/SCD2)
|
|
TRUNCATE dds.dim_calendar,
|
|
dds.dim_airports,
|
|
dds.dim_airplanes,
|
|
dds.dim_tariffs,
|
|
dds.dim_passengers,
|
|
dds.dim_routes,
|
|
dds.fact_flight_sales;
|
|
|
|
-- 4. Слой DM (Витрины данных)
|
|
TRUNCATE dm.sales_report;
|