refactor(smoke): срезаны проверки стенда, не служащие менти #57
Assignees
ddmitry (Dmitry Dementiev)
Clear assignees
ddmitry (Dmitry Dementiev)
No Assignees
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: ddmitry/clickstream-data-platform#57
Reference in New Issue
Block a user
Задача #56.
Счёт и строки
Счёт проверок в
make smoke— 25 было, 25 стало: ушёлcheck_env_consistency, пришёлcheck_keeper_runtime. Результат здесь не в счёте, а в строках:tests/,scripts/*smoke*.sh,config-test.sh)dags/test_*.py)Итого −823 строки; каталог
tests/исчез целиком. Проверок стенда стало ровно вдвое меньше.Что удалено
tests/dag-probes-unit.py(307) — заглушки вокруг пробников в отрыве от стенда.tests/stand-smoke-guards.sh(193) — мутационный сторож на setsid, гонках и разборе журналов DAG внутри контейнера.tests/stand-smoke-static.sh(49) — тест теста; обе его проверки были проcheck_env_consistency.tests/smoke-guards.sh(139) целиком вместе с цельюmake smoke-guards— все три её проверки платили убийством ноды или той же машинерией с группами процессов.check_env_consistencyвscripts/stand-smoke.sh(~105) — парсер${VAR:-default}на bash.scripts/config-test.sh(14)._assert_*свёрнуты в тела задач.Поведения, которые сторожил
smoke-guards.sh, остались на месте: подсказка «выполнитеmake up» и уборка временных таблиц по Ctrl-C живут вscripts/clickhouse-smoke.sh, он не тронут. Удалён только сторож.Что переехало и переписано
check_keeper_runtime— изtests/smoke-guards.shвscripts/stand-smoke.sh, с комментарием о том, почему keeper мало быть здоровым.dags/test_clickhouse.pyссылался на удалённые юнит-тесты. Переписан на настоящую причину: обработчик разбирает DAG-файл снова и снова, и тяжёлый импорт наверху оплачивался бы каждым разбором (рекомендация Airflow, best-practices.rst, сверено через Context7 на 3.1.6). Такой же комментарий заведён вdags/test_kafka.py, где его не было.docs/architecture/testing.md..env.exampleобъяснена словами: справочник, который никто не сверяет.Проверка
Оба пробника отработали на живом стенде уже со свёрнутыми проверками:
test_clickhouseзаписал через ноду 1 и прочитал черезDistributedна ноде 2,test_kafkaзаписал маркер и прочитал его по адресу от брокера.Вне границ
generator/testsиscripts/clickhouse-smoke.shне тронуты. Деление смоука на цели и карта проверок — #54. Предсуществующие находки ruffUP017вdags/не правились:make lintсмотрит толькоgenerator/.- Зачем: - проверок стало больше, чем продукта, и росли они из критериев приёмки, а не из учебной ценности (#56). - Что: - удалены tests/dag-probes-unit.py, tests/stand-smoke-guards.sh, tests/stand-smoke-static.sh и tests/smoke-guards.sh вместе с целью make smoke-guards и запуском юнит-тестов в scripts/config-test.sh. - из scripts/stand-smoke.sh убран check_env_consistency, туда же переехал check_keeper_runtime; счёт проверок остался 25. - в пробниках свёрнуты функции _assert_*, комментарий про отложенный импорт переписан на причину из документации Airflow и продублирован в test_kafka. - Проверка: - make config-test, make up, make smoke, make smoke-cluster.- Зачем: - горячее ревью: перевезённая проверка keeper потеряла привычку файла ограничивать обращения к контейнерам по времени и глушить их ошибки. - Что: - опрос keeper идёт через keeper_exec с timeout 20s и тихим stderr, в отчёте об отказе пустой ответ назван словами. - комментарий к проверке и абзац README переписаны на проверяемое утверждение: настройки объявлены в compose.yaml, смоук спрашивает, дошли ли они до процесса. - в пробнике ClickHouse ожидаемой строке возвращено имя expected_rows. - Проверка: - make config-test, make smoke, make smoke-cluster; отдельно проверено, что на паузе keeper проверка краснеет, а не виснет.