Compare commits
10
Commits
1ae670410b
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
242a066f42 | ||
|
|
4ad904efd0 | ||
|
|
690b1fdb25 | ||
|
|
515e221c52 | ||
|
|
4e67059f7a | ||
|
|
2a1da643c1 | ||
|
|
09f2c839f7 | ||
|
|
c5e9bfe6b3 | ||
|
|
1edda33f87 | ||
|
|
8584fc225b |
@@ -0,0 +1,2 @@
|
||||
mkdocs-material==9.6.14
|
||||
mkdocs-same-dir==0.1.3
|
||||
Executable
+31
@@ -0,0 +1,31 @@
|
||||
#!/usr/bin/env bash
|
||||
|
||||
set -euo pipefail
|
||||
|
||||
readonly venv_dir="/var/lib/gitea-runner/venvs/site"
|
||||
|
||||
if [[ $# -ne 1 ]]; then
|
||||
echo "Usage: $0 SOURCE_DIR" >&2
|
||||
exit 2
|
||||
fi
|
||||
|
||||
source_dir=$(realpath "$1")
|
||||
requirements_file="${source_dir}/.gitea/requirements-site.txt"
|
||||
|
||||
if [[ ! -f $requirements_file ]]; then
|
||||
echo "Requirements file not found: ${requirements_file}" >&2
|
||||
exit 2
|
||||
fi
|
||||
|
||||
mkdir -p "$(dirname "$venv_dir")"
|
||||
if [[ ! -x "${venv_dir}/bin/python" ]]; then
|
||||
python3 -m venv "$venv_dir"
|
||||
fi
|
||||
|
||||
"${venv_dir}/bin/python" -m pip install \
|
||||
--disable-pip-version-check \
|
||||
--no-input \
|
||||
--requirement "$requirements_file"
|
||||
"${venv_dir}/bin/python" -m pip check
|
||||
cd "$source_dir"
|
||||
"${venv_dir}/bin/python" -m mkdocs build --strict
|
||||
Executable
+75
@@ -0,0 +1,75 @@
|
||||
#!/usr/bin/env bash
|
||||
|
||||
set -euo pipefail
|
||||
|
||||
readonly deploy_root="/srv/de-roadmap"
|
||||
readonly releases_root="${deploy_root}/releases"
|
||||
readonly keep_releases=3
|
||||
|
||||
if [[ $# -ne 2 ]]; then
|
||||
echo "Usage: $0 SITE_DIR COMMIT_SHA-RUN_ID" >&2
|
||||
exit 2
|
||||
fi
|
||||
|
||||
source_dir=$(realpath "$1")
|
||||
release_id=$2
|
||||
|
||||
if [[ ! $release_id =~ ^[0-9a-f]{40}-[0-9]+$ ]]; then
|
||||
echo "Invalid release id: ${release_id}" >&2
|
||||
exit 2
|
||||
fi
|
||||
|
||||
if [[ ! -f "${source_dir}/index.html" ]]; then
|
||||
echo "Built site has no index.html: ${source_dir}" >&2
|
||||
exit 2
|
||||
fi
|
||||
|
||||
if [[ ! -d $releases_root || ! -w $releases_root || ! -w $deploy_root ]]; then
|
||||
echo "Deployment directories are missing or not writable" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
readonly release_dir="${releases_root}/${release_id}"
|
||||
readonly staging_dir="${releases_root}/.${release_id}.tmp"
|
||||
readonly next_link="${deploy_root}/.current.${release_id}.tmp"
|
||||
|
||||
if [[ -e $release_dir || -e $staging_dir || -e $next_link ]]; then
|
||||
echo "Release path already exists: ${release_id}" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
cleanup() {
|
||||
rm -rf -- "$staging_dir"
|
||||
rm -f -- "$next_link"
|
||||
}
|
||||
trap cleanup EXIT
|
||||
|
||||
umask 0022
|
||||
mkdir "$staging_dir"
|
||||
cp -a "${source_dir}/." "$staging_dir/"
|
||||
chmod -R u=rwX,go=rX "$staging_dir"
|
||||
mv "$staging_dir" "$release_dir"
|
||||
|
||||
ln -s "releases/${release_id}" "$next_link"
|
||||
mv -Tf "$next_link" "${deploy_root}/current"
|
||||
|
||||
mapfile -t old_releases < <(
|
||||
find "$releases_root" \
|
||||
-mindepth 1 \
|
||||
-maxdepth 1 \
|
||||
-type d \
|
||||
-regextype posix-extended \
|
||||
-regex '.*/[0-9a-f]{40}-[0-9]+' \
|
||||
-printf '%T@ %f\n' \
|
||||
| sort -nr \
|
||||
| awk -v keep="$keep_releases" 'NR > keep { print $2 }'
|
||||
)
|
||||
|
||||
for old_release in "${old_releases[@]}"; do
|
||||
if [[ $old_release =~ ^[0-9a-f]{40}-[0-9]+$ && $old_release != "$release_id" ]]; then
|
||||
rm -rf -- "${releases_root:?}/${old_release}"
|
||||
fi
|
||||
done
|
||||
|
||||
trap - EXIT
|
||||
echo "Published release ${release_id}"
|
||||
@@ -0,0 +1,39 @@
|
||||
name: Deploy MkDocs to VPS
|
||||
|
||||
on:
|
||||
push:
|
||||
branches: [main]
|
||||
workflow_dispatch:
|
||||
|
||||
concurrency:
|
||||
group: site-production
|
||||
cancel-in-progress: false
|
||||
|
||||
jobs:
|
||||
deploy:
|
||||
runs-on: de-roadmap-host
|
||||
timeout-minutes: 15
|
||||
|
||||
steps:
|
||||
- name: Check out the triggering commit
|
||||
env:
|
||||
COMMIT_SHA: ${{ gitea.sha }}
|
||||
REPOSITORY_URL: ${{ gitea.server_url }}/${{ gitea.repository }}.git
|
||||
run: |
|
||||
set -euo pipefail
|
||||
[[ "$COMMIT_SHA" =~ ^[0-9a-f]{40}$ ]]
|
||||
test ! -e source
|
||||
mkdir source
|
||||
git -C source init .
|
||||
git -C source remote add origin "$REPOSITORY_URL"
|
||||
git -C source fetch --no-tags --depth=1 origin "$COMMIT_SHA"
|
||||
test "$(git -C source rev-parse FETCH_HEAD)" = "$COMMIT_SHA"
|
||||
git -C source -c advice.detachedHead=false checkout --detach FETCH_HEAD
|
||||
|
||||
- name: Build the site strictly
|
||||
run: source/.gitea/scripts/build-site.sh source
|
||||
|
||||
- name: Publish the complete release atomically
|
||||
env:
|
||||
RELEASE_ID: ${{ gitea.sha }}-${{ gitea.run_id }}
|
||||
run: source/.gitea/scripts/deploy-site.sh source/site "$RELEASE_ID"
|
||||
@@ -4,8 +4,11 @@
|
||||
- Root `README.md` describes the learning roadmap (RU) and serves as the main page of the MkDocs site.
|
||||
- `dwh-modeling/` contains the article and demo DWH model; SQL lives in `dwh-modeling/sql` as ordered scripts `01_...sql`–`09_...sql` (07–09 are homework DDL, template and solution).
|
||||
- `postgres-bookings/` is a Dockerized PostgreSQL + demo “bookings” DB; start it first, then apply DWH scripts against the `demo` database.
|
||||
- `mkdocs.yml` — MkDocs Material config; `docs_dir: .` (repo root = site root). Excluded dirs: `project/`, `postgres-bookings/`, `.github/`, `.claude/`.
|
||||
- `.github/workflows/deploy-site.yml` — CI/CD: push to `main` → build → deploy to GitHub Pages.
|
||||
- `mkdocs.yml` — MkDocs Material config; `docs_dir: .` (repo root = site root). Excluded dirs: `project/`, `postgres-bookings/`, `.gitea/`, `.github/`, `.claude/`.
|
||||
- `.gitea/workflows/deploy-site.yml` — основной CI/CD: push в `main` → строгая
|
||||
сборка → атомарная публикация на VPS через repository-scoped Gitea Runner.
|
||||
- `.github/workflows/deploy-site.yml` — сохранённый workflow для резервной
|
||||
публикации на GitHub Pages; Gitea его не исполняет.
|
||||
- `project/` — PRD, ADR, and TODO.md (excluded from site). `project/TODO.md` is the prioritized project backlog: check it when planning or proposing work, and mark items done there when you complete them.
|
||||
|
||||
## Build, Test, and Development Commands
|
||||
@@ -52,10 +55,12 @@ All `.md` files MUST render correctly on both GitHub and the MkDocs Material sit
|
||||
- Avoid: em-dash `—`, en-dash `–` — slug behavior differs between GitHub and MkDocs.
|
||||
|
||||
## MkDocs Site Commands
|
||||
- Initialize or update the persistent local environment:
|
||||
`python3 -m venv "${HOME}/.cache/de-roadmap-mkdocs" && "${HOME}/.cache/de-roadmap-mkdocs/bin/python" -m pip install -r .gitea/requirements-site.txt`
|
||||
- Local preview (user starts, ask user to run via `!`):
|
||||
`uv run --with 'mkdocs-material==9.6.14' --with 'mkdocs-same-dir==0.1.3' mkdocs serve`
|
||||
`"${HOME}/.cache/de-roadmap-mkdocs/bin/python" -m mkdocs serve`
|
||||
- Build with strict validation (catches broken links/anchors):
|
||||
`uv run --with 'mkdocs-material==9.6.14' --with 'mkdocs-same-dir==0.1.3' mkdocs build --strict`
|
||||
`"${HOME}/.cache/de-roadmap-mkdocs/bin/python" -m mkdocs build --strict`
|
||||
- Visual check via Playwright (when `mkdocs serve` is running on port 8000):
|
||||
`npx playwright screenshot --viewport-size='1280,800' 'http://127.0.0.1:8000/#anchor' /path/to/screenshot.png`
|
||||
Then read the screenshot with the Read tool to inspect rendering. Use `--viewport-size='1280,2000'` for tall pages.
|
||||
@@ -75,5 +80,7 @@ Pull requests should focus on one topic, include a brief context, list of change
|
||||
|
||||
## Security & Configuration Tips
|
||||
- Do not commit personal `.env` files or credentials; use local overrides only.
|
||||
- Gitea Runner работает в host mode: не расширяйте его scope, не добавляйте
|
||||
пользователя `gitea-runner` в `sudo` или `docker` и не выдавайте ему запись
|
||||
вне `/var/lib/gitea-runner` и `/srv/de-roadmap`.
|
||||
- Demo credentials and ports in `postgres-bookings` are for local training only—never reuse them in shared or production environments.
|
||||
|
||||
|
||||
@@ -159,7 +159,7 @@ SQL и моделирование данных специально идут р
|
||||
- [SkillFactory: Виртуальные окружения в Python](https://blog.skillfactory.ru/venv-virtualnoe-okruzhenie-v-python/)
|
||||
- Jupyter Lab
|
||||
- [Блог Практикума: «Что такое Jupyter Notebook: как установить и открыть»](https://practicum.yandex.ru/blog/chto-takoe-jupyter-notebook/)
|
||||
- Готовая реализация Jupyter Lab, включающая в себя Spark, в Docker: [jupyter-spark-docker](https://github.com/dementev-dev/jupyter-spark-docker)
|
||||
- Готовый Docker-образ Jupyter Lab со Spark: [Jupyter Docker Stacks, pyspark-notebook](https://jupyter-docker-stacks.readthedocs.io/en/latest/using/selecting.html#jupyter-pyspark-notebook)
|
||||
- Pandas
|
||||
- [GeeksforGeeks: “Why Pandas is Used in Python”](https://www.geeksforgeeks.org/pandas/why-pandas-is-used-in-python/)
|
||||
- [Skillbox: «Для чего нужна библиотека Pandas»](https://skillbox.ru/media/code/rabotaem-s-pandas-osnovnye-ponyatiya-i-realnye-dannye/)
|
||||
@@ -283,7 +283,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
||||
|
||||
Материалы:
|
||||
|
||||
- [Учебник по Airflow](https://github.com/dementev-dev/airflow-manual)
|
||||
- [Учебник по Airflow](https://git.dementev.space/ddmitry/airflow-manual)
|
||||
|
||||
**Когда блок Airflow считаем пройденным:**
|
||||
|
||||
@@ -313,7 +313,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
||||
**Курс Yandex по Greenplum** — основной учебный курс, рекомендуется пройти целиком:
|
||||
|
||||
- [Бесплатный курс Yandex Cloud по Greenplum](https://yandex.cloud/ru/training/greenplum)
|
||||
- Практику по курсу удобно делать на стенде [airflow-dwh-gp-lab](https://github.com/dementev-dev/airflow-greenplum) — `make up` поднимает рабочий Greenplum с PXF, не нужен облачный кластер.
|
||||
- Практику по курсу удобно делать на стенде [airflow-dwh-gp-lab](https://git.dementev.space/ddmitry/airflow-greenplum) — `make up` поднимает рабочий Greenplum с PXF, не нужен облачный кластер.
|
||||
- Стенд покрывает основные темы курса: типы таблиц (heap / appendonly), политики дистрибуции, сжатие, PXF, анализ планов выполнения (`EXPLAIN`).
|
||||
- Единственное ограничение: cloud-специфичные темы (тема 2 курса — развёртывание в Yandex Cloud) на локальном стенде не покрыты.
|
||||
|
||||
@@ -326,7 +326,7 @@ Apache Airflow — инструмент для оркестрации ETL-про
|
||||
### Курсовая работа
|
||||
Курсовая работа — важный майлстоун роадмапа: ваш первый end-to-end data-проект. После неё у вас есть ключевые технические навыки для старта карьеры в Data Engineering.
|
||||
|
||||
Курсовая выполняется на том же стенде [airflow-dwh-gp-lab](https://github.com/dementev-dev/airflow-greenplum), который вы уже использовали для практики по Greenplum.
|
||||
Курсовая выполняется на том же стенде [airflow-dwh-gp-lab](https://git.dementev.space/ddmitry/airflow-greenplum), который вы уже использовали для практики по Greenplum.
|
||||
|
||||
**Что внутри:**
|
||||
|
||||
@@ -417,7 +417,7 @@ NiFi — визуальный конструктор потоков данных
|
||||
- [Apache NiFi с нуля за 3 часа (Youtube-плейлист)](https://youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_&si=W_hidjHmBOZ_aUfS) — первые 4 видео, дальше — по желанию
|
||||
- [Лучший Гайд по Kafka для Начинающих За 1 Час (Youtube)](https://www.youtube.com/watch?v=hbseyn-CfXY)
|
||||
|
||||
Практика — на стенде [nifi-kafka-postgres-lab](https://github.com/dementev-dev/nifi-kafka-postgres-lab) (Docker Compose с NiFi, Kafka и Postgres):
|
||||
Практика — на стенде [nifi-kafka-postgres-lab](https://git.dementev.space/ddmitry/nifi-kafka-postgres-lab) (Docker Compose с NiFi, Kafka и Postgres):
|
||||
|
||||
- настраиваем в NiFi простой генератор данных и поток в Postgres;
|
||||
- строим поток NiFi → Kafka → NiFi → Postgres.
|
||||
@@ -434,8 +434,8 @@ ClickHouse — колоночная СУБД для аналитики на бо
|
||||
|
||||
Практика:
|
||||
|
||||
- Упражнения курса Яндекса можно выполнять в их облаке (с оплатой за ресурсы) или бесплатно у себя — на учебном кластере [clickhouse-learning-cluster](https://github.com/dementev-dev/clickhouse-learning-cluster): 4 узла ClickHouse в Docker Compose, репликация, шардинг, балансировка через HAProxy.
|
||||
- Следующий шаг — стенд [clickstream-ch-kafka-superset-demo](https://github.com/dementev-dev/clickstream-ch-kafka-superset-demo), имитирующий полноценное аналитическое хранилище на ClickHouse: Kafka, Airflow, дашборды в Superset, мониторинг (Prometheus/Grafana), слои STG → ODS → DDS → DM. Внутри — собственный продвинутый курс «Кликстрим на ClickHouse» с уроками прямо на стенде.
|
||||
- Упражнения курса Яндекса можно выполнять в их облаке (с оплатой за ресурсы) или бесплатно у себя — на учебном кластере [clickhouse-learning-cluster](https://git.dementev.space/ddmitry/clickhouse-learning-cluster): 4 узла ClickHouse в Docker Compose, репликация, шардинг, балансировка через HAProxy.
|
||||
- Следующий шаг — стенд [clickstream-ch-kafka-superset-demo](https://git.dementev.space/ddmitry/clickstream-ch-kafka-superset-demo), имитирующий полноценное аналитическое хранилище на ClickHouse: Kafka, Airflow, дашборды в Superset, мониторинг (Prometheus/Grafana), слои STG → ODS → DDS → DM. Внутри — собственный продвинутый курс «Кликстрим на ClickHouse» с уроками прямо на стенде.
|
||||
|
||||
### Lakehouse (Spark, Iceberg, Trino)
|
||||
|
||||
@@ -450,7 +450,7 @@ Lakehouse — архитектурный подход, который соеди
|
||||
- Введение в тему: [«Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse» (Habr, Arenadata)](https://habr.com/ru/companies/arenadata/articles/885722/) — что такое Lakehouse, чем он отличается от классического DWH и Data Lake и зачем появился
|
||||
- [DataLearn: «Что такое Apache Spark»](https://youtu.be/Tl9YzC-dQLI) — введение в Spark с нуля, ~40 минут
|
||||
|
||||
Практика — курс [«Lakehouse без магии»](https://github.com/dementev-dev/mini-lakehouse-lab) на стенде mini-lakehouse-lab (Spark + Iceberg + Trino + MinIO, всё локально в Docker, без облаков и регистраций):
|
||||
Практика — курс [«Lakehouse без магии»](https://git.dementev.space/ddmitry/mini-lakehouse-lab) на стенде mini-lakehouse-lab (Spark + Iceberg + Trino + MinIO, всё локально в Docker, без облаков и регистраций):
|
||||
|
||||
- 8 модулей на ~12–15 часов самостоятельной работы; в каждом — объяснение, демонстрация, задание и checkpoint;
|
||||
- пайплайн `raw → bronze → silver` на реальном датасете NYC Taxi;
|
||||
|
||||
@@ -540,7 +540,7 @@ flowchart TD
|
||||
|
||||
### Готовые SQL-скрипты
|
||||
|
||||
Все необходимые скрипты для построения хранилища находятся в папке [`sql/`](https://github.com/dementev-dev/de-roadmap/tree/main/dwh-modeling/sql):
|
||||
Все необходимые скрипты для построения хранилища находятся в папке [`sql/`](https://git.dementev.space/ddmitry/de-roadmap/src/branch/main/dwh-modeling/sql):
|
||||
|
||||
- [`01_ddl_stg-dds.sql`](sql/01_ddl_stg-dds.sql) — создание схем и таблиц (STG, ODS, DDS);
|
||||
- [`02_dml_stg-dds.sql`](sql/02_dml_stg-dds.sql) — первичная загрузка данных и демонстрация SCD2 через полный пересчёт (`full backfill`) из STG;
|
||||
@@ -791,7 +791,7 @@ SELECT 'OK' WHERE EXISTS (
|
||||
|
||||
### Мини-датасет (для практики)
|
||||
|
||||
Все данные для практики находятся в папке [`data/`](https://github.com/dementev-dev/de-roadmap/tree/main/dwh-modeling/data) — тренируйтесь:
|
||||
Все данные для практики находятся в папке [`data/`](https://git.dementev.space/ddmitry/de-roadmap/src/branch/main/dwh-modeling/data) — тренируйтесь:
|
||||
|
||||
[`customers.csv`](data/customers.csv):
|
||||
```csv
|
||||
@@ -832,7 +832,7 @@ product_id,valid_from,valid_to,price
|
||||
9002,2023-01-01,,50
|
||||
```
|
||||
|
||||
> 📂 Все SQL-скрипты для построения хранилища находятся в папке [`sql/`](https://github.com/dementev-dev/de-roadmap/tree/main/dwh-modeling/sql).
|
||||
> 📂 Все SQL-скрипты для построения хранилища находятся в папке [`sql/`](https://git.dementev.space/ddmitry/de-roadmap/src/branch/main/dwh-modeling/sql).
|
||||
|
||||
---
|
||||
|
||||
|
||||
+6
-5
@@ -3,8 +3,8 @@ site_url: https://de.dementev.space/
|
||||
site_description: "Роадмап по Data Engineering: SQL, Python, Airflow, Greenplum и далее"
|
||||
site_author: Dmitry Dementev
|
||||
|
||||
repo_url: https://github.com/dementev-dev/de-roadmap
|
||||
repo_name: dementev-dev/de-roadmap
|
||||
repo_url: https://git.dementev.space/ddmitry/de-roadmap
|
||||
repo_name: ddmitry/de-roadmap
|
||||
|
||||
docs_dir: .
|
||||
site_dir: site
|
||||
@@ -13,6 +13,7 @@ exclude_docs: |
|
||||
project/
|
||||
postgres-bookings/
|
||||
.github/
|
||||
.gitea/
|
||||
.claude/
|
||||
site/
|
||||
AGENTS.md
|
||||
@@ -75,12 +76,12 @@ markdown_extensions:
|
||||
|
||||
extra:
|
||||
social:
|
||||
- icon: simple/gitea
|
||||
link: https://git.dementev.space/ddmitry/de-roadmap
|
||||
name: Gitea
|
||||
- icon: fontawesome/brands/telegram
|
||||
link: https://t.me/dementev_dev
|
||||
name: Написать в Telegram
|
||||
- icon: fontawesome/brands/github
|
||||
link: https://github.com/dementev-dev/de-roadmap
|
||||
name: GitHub
|
||||
|
||||
plugins:
|
||||
- same-dir
|
||||
|
||||
@@ -1,6 +1,9 @@
|
||||
# ADR: Архитектура сайта de-roadmap
|
||||
|
||||
> Архитектурный документ. Проектные цели и требования — в [PRD](./PRD.md).
|
||||
> Решения о публикации и custom domain заменены спецификацией
|
||||
> [«Публикация сайта через Gitea Actions и VPS»](./specs/2026-08-04-gitea-vps-site-publishing.md).
|
||||
> Решения о MkDocs, структуре файлов и ссылках остаются актуальными.
|
||||
|
||||
---
|
||||
|
||||
|
||||
+9
-4
@@ -8,7 +8,10 @@
|
||||
|
||||
### Текущее состояние
|
||||
|
||||
Роадмап по Data Engineering живёт как GitHub-репозиторий ([dementev-dev/de-roadmap](https://github.com/dementev-dev/de-roadmap)):
|
||||
Роадмап по Data Engineering живёт как Git-репозиторий. Основной origin
|
||||
размещён в собственной Gitea
|
||||
([ddmitry/de-roadmap](https://git.dementev.space/ddmitry/de-roadmap)), а
|
||||
GitHub Pages сохраняется как резерв после восстановления доступа к GitHub:
|
||||
|
||||
- Основной контент — монолитный `README.md` (~700 строк) с полным учебным планом.
|
||||
- Дополнительные материалы — в подпапках (`dwh-modeling/`, `postgres-bookings/`): теория DWH-моделирования, SCD, Data Vault, домашние задания, скрипты.
|
||||
@@ -74,7 +77,8 @@ GitHub README — рабочий, но не презентабельный фо
|
||||
**Деплой:**
|
||||
|
||||
- [x] Автоматическая сборка и публикация при пуше в `main`.
|
||||
- [x] Бесплатный хостинг (GitHub Pages).
|
||||
- [x] Публикация без дополнительных расходов: собственная VPS как основной
|
||||
контур, GitHub Pages как резерв.
|
||||
|
||||
**Совместимость с репо:**
|
||||
|
||||
@@ -84,7 +88,8 @@ GitHub README — рабочий, но не презентабельный фо
|
||||
|
||||
### 4.2. Желательные (Спринт 2+)
|
||||
|
||||
- [x] Кастомный домен: `de.dementev.space` (подключён 2026-03-27).
|
||||
- [x] Кастомный домен: `de.dementev.space` (подключён 2026-03-27, переведён на
|
||||
VPS 2026-08-05).
|
||||
- [x] Тёмная тема (переключатель light/dark).
|
||||
- [x] Сворачиваемые блоки (`<details>`) — точечно, для подсказок/решений в домашках (2026-03-29).
|
||||
- [x] Кнопка «Написать в Telegram» — floating-кнопка + иконки в футере (2026-03-29).
|
||||
@@ -158,7 +163,7 @@ GitHub README — рабочий, но не презентабельный фо
|
||||
| Кириллические якоря рендерятся по-разному | Средняя | Среднее | Тестирование конкретного генератора; при необходимости — латинские id |
|
||||
| Генератор сайта перестаёт поддерживаться | Низкая | Среднее | Контент в plain Markdown — миграция на другой генератор за день |
|
||||
| Накладные расходы на поддержку растут | Низкая | Среднее | Принцип «сайт опционален»: если мешает — удаляем конфиг, репо работает |
|
||||
| GitHub Pages ограничения (bandwidth, размер) | Очень низкая | Низкое | Для статического сайта с текстом — не актуально |
|
||||
| VPS временно недоступна | Низкая | Высокое | Опубликованный сайт не зависит от Gitea; GitHub Pages сохраняется как ручной резерв |
|
||||
|
||||
---
|
||||
|
||||
|
||||
+5
-2
@@ -2,8 +2,6 @@
|
||||
|
||||
Приоритеты: P1 — делаем в первую очередь; P2 — полезно, когда дойдут руки; P3 — идеи под вопросом.
|
||||
|
||||
## P1
|
||||
|
||||
## P2
|
||||
|
||||
- [ ] **Перенос учебника Airflow в de-roadmap.**
|
||||
@@ -41,6 +39,11 @@
|
||||
|
||||
## Сделано
|
||||
|
||||
- [x] **Публикация сайта перенесена на Gitea Actions и VPS** —
|
||||
2026-08-05: настроены repository-scoped host runner, строгая сборка MkDocs,
|
||||
атомарные релизы, nginx и TLS для `de.dementev.space`; GitHub Pages сохранён
|
||||
как неактивный резерв.
|
||||
|
||||
- [x] **Подраздел «Linux и терминал» в блоке базовых инструментов** —
|
||||
2026-07-12: видео-интро («Девопс на троечку», покрытие проверено по
|
||||
субтитрам) + три статьи (навигация и grep — habr, права — FirstVDS,
|
||||
|
||||
@@ -0,0 +1,283 @@
|
||||
# Эксплуатация публикации `de.dementev.space`
|
||||
|
||||
Этот runbook реализует спецификацию
|
||||
[`2026-08-04-gitea-vps-site-publishing.md`](../../specs/2026-08-04-gitea-vps-site-publishing.md).
|
||||
Команды рассчитаны на Ubuntu 26.04 и Gitea 1.27.
|
||||
|
||||
## Зафиксированные параметры
|
||||
|
||||
- Gitea Runner: `2.3.0`, Linux amd64.
|
||||
- SHA256: `1e9fb1bea022fdf40993ecbc1a13e87db1bfd3d7f42666e37f15f71d840d53b3`.
|
||||
- Runner: repository-scoped, метка `de-roadmap-host:host`.
|
||||
- Пользователь сервиса: `gitea-runner`, без `sudo` и Docker.
|
||||
- Корень публикации: `/srv/de-roadmap`.
|
||||
- Хранение: текущий релиз и две предыдущие версии.
|
||||
- Окружение сборки: `/var/lib/gitea-runner/venvs/site`.
|
||||
- Публичный IPv4 VPS: `167.224.64.252`.
|
||||
|
||||
## Предварительные условия
|
||||
|
||||
- Есть пользователь с `sudo` и рабочий SSH-доступ к VPS.
|
||||
- Есть доступ к управлению DNS-зоной `dementev.space`.
|
||||
- В репозитории `ddmitry/de-roadmap` включены Gitea Actions.
|
||||
|
||||
## Подготовка VPS
|
||||
|
||||
Установить Git, HTTP-сервер, Certbot, UFW и Python venv:
|
||||
|
||||
```bash
|
||||
sudo apt-get update
|
||||
sudo apt-get install \
|
||||
ca-certificates \
|
||||
certbot \
|
||||
curl \
|
||||
git \
|
||||
jq \
|
||||
nginx \
|
||||
python3-certbot-nginx \
|
||||
python3-venv \
|
||||
ufw
|
||||
```
|
||||
|
||||
Получить административный checkout, из которого устанавливаются tracked-файлы:
|
||||
|
||||
```bash
|
||||
git clone https://git.dementev.space/ddmitry/de-roadmap.git
|
||||
cd de-roadmap
|
||||
```
|
||||
|
||||
Создать пользователя и каталоги:
|
||||
|
||||
```bash
|
||||
sudo useradd \
|
||||
--system \
|
||||
--home-dir /var/lib/gitea-runner \
|
||||
--create-home \
|
||||
--shell /usr/sbin/nologin \
|
||||
gitea-runner
|
||||
sudo install -d -o gitea-runner -g gitea-runner -m 0755 \
|
||||
/var/lib/gitea-runner/workspaces \
|
||||
/srv/de-roadmap \
|
||||
/srv/de-roadmap/releases
|
||||
sudo install -d -o root -g root -m 0755 /etc/gitea-runner
|
||||
```
|
||||
|
||||
Скачать runner во временный каталог, сверить checksum и установить root-owned
|
||||
бинарник в `/usr/local/bin/gitea-runner`:
|
||||
|
||||
```bash
|
||||
runner_tmp_dir=$(mktemp -d /tmp/de-roadmap-runner.XXXXXX)
|
||||
curl -fsSLo "${runner_tmp_dir}/gitea-runner" \
|
||||
https://dl.gitea.com/gitea-runner/2.3.0/gitea-runner-2.3.0-linux-amd64
|
||||
printf '%s %s\n' \
|
||||
'1e9fb1bea022fdf40993ecbc1a13e87db1bfd3d7f42666e37f15f71d840d53b3' \
|
||||
"${runner_tmp_dir}/gitea-runner" \
|
||||
| sha256sum --check
|
||||
sudo install -o root -g root -m 0755 \
|
||||
"${runner_tmp_dir}/gitea-runner" /usr/local/bin/gitea-runner
|
||||
rm "${runner_tmp_dir}/gitea-runner"
|
||||
rmdir "$runner_tmp_dir"
|
||||
```
|
||||
|
||||
Из корня репозитория установить конфигурацию и unit:
|
||||
|
||||
```bash
|
||||
sudo install -o root -g root -m 0644 \
|
||||
project/ops/gitea-vps-site/gitea-runner.yaml \
|
||||
/etc/gitea-runner/config.yaml
|
||||
sudo install -o root -g root -m 0644 \
|
||||
project/ops/gitea-vps-site/gitea-runner.service \
|
||||
/etc/systemd/system/gitea-runner.service
|
||||
sudo systemd-analyze verify /etc/systemd/system/gitea-runner.service
|
||||
```
|
||||
|
||||
## Регистрация runner
|
||||
|
||||
Repository registration token получают в Gitea:
|
||||
`ddmitry/de-roadmap` → Settings → Actions → Runners. Токен не сохраняют в Git
|
||||
или shell history. Временный файл с токеном создают с владельцем
|
||||
`gitea-runner:gitea-runner` и режимом `0600`. После регистрации файл
|
||||
`/var/lib/gitea-runner/.runner` должен принадлежать тому же пользователю и
|
||||
иметь режим `0600`.
|
||||
|
||||
Token-file должен содержать ровно 40 символов без завершающего перевода строки.
|
||||
При извлечении JSON-ответа через `jq` использовать `jq --join-output '.token'`,
|
||||
а не `jq --raw-output`, который добавляет newline.
|
||||
|
||||
```bash
|
||||
sudo -u gitea-runner \
|
||||
/usr/local/bin/gitea-runner \
|
||||
--config /etc/gitea-runner/config.yaml \
|
||||
register \
|
||||
--no-interactive \
|
||||
--instance https://git.dementev.space \
|
||||
--token-file /var/lib/gitea-runner/.registration-token \
|
||||
--name de-roadmap-vps
|
||||
sudo rm /var/lib/gitea-runner/.registration-token
|
||||
sudo chmod 0600 /var/lib/gitea-runner/.runner
|
||||
sudo systemctl daemon-reload
|
||||
sudo systemctl enable --now gitea-runner
|
||||
systemctl is-enabled gitea-runner
|
||||
systemctl is-active gitea-runner
|
||||
```
|
||||
|
||||
Временный файл с токеном удаляют сразу после успешной регистрации. В Gitea на
|
||||
странице Settings → Actions → Runners runner `de-roadmap-vps` должен перейти в
|
||||
состояние online и показывать метку `de-roadmap-host`.
|
||||
|
||||
## Nginx и первичная публикация
|
||||
|
||||
Из корня репозитория установить bootstrap-конфигурацию nginx, создать ссылку,
|
||||
отключить стандартный сайт Ubuntu и только затем перечитать проверенную
|
||||
конфигурацию:
|
||||
|
||||
```bash
|
||||
sudo install -o root -g root -m 0644 \
|
||||
project/ops/gitea-vps-site/nginx.conf \
|
||||
/etc/nginx/sites-available/de-roadmap
|
||||
sudo ln -s \
|
||||
/etc/nginx/sites-available/de-roadmap \
|
||||
/etc/nginx/sites-enabled/de-roadmap
|
||||
sudo unlink /etc/nginx/sites-enabled/default
|
||||
sudo nginx -t
|
||||
sudo systemctl reload nginx
|
||||
```
|
||||
|
||||
Первый server block в `nginx.conf` возвращает `404` для неизвестных HTTP Host,
|
||||
не раскрывает версию nginx и отклоняет TLS handshake для IP или неизвестного
|
||||
SNI. Поэтому сертификат `de.dementev.space` не выдаётся при обращении к VPS по
|
||||
IP. Если проверка конфигурации не прошла, отключить новый virtual host,
|
||||
восстановить стандартный сайт и перечитать проверенную конфигурацию:
|
||||
|
||||
```bash
|
||||
sudo unlink /etc/nginx/sites-enabled/de-roadmap
|
||||
sudo ln -s \
|
||||
/etc/nginx/sites-available/default \
|
||||
/etc/nginx/sites-enabled/default
|
||||
sudo nginx -t
|
||||
sudo systemctl reload nginx
|
||||
```
|
||||
|
||||
Файл `project/ops/gitea-vps-site/nginx.conf` предназначен только для запуска до
|
||||
выпуска сертификата. После выпуска сертификата Certbot изменяет установленный
|
||||
virtual host. Повторная установка bootstrap-файла поверх рабочего конфига
|
||||
удалит TLS-директивы.
|
||||
|
||||
## Окружение сборки
|
||||
|
||||
Скрипт `.gitea/scripts/build-site.sh` создаёт persistent venv при первом запуске
|
||||
и переиспользует его в следующих сборках. `pip install` выполняется каждый раз,
|
||||
чтобы применить изменения `.gitea/requirements-site.txt`, но уже установленные
|
||||
версии пакетов не переустанавливаются.
|
||||
|
||||
## Первый деплой
|
||||
|
||||
В Gitea открыть Actions → Deploy MkDocs to VPS, выбрать ветку `main` и нажать
|
||||
Run workflow. Job `deploy` должен завершиться успешно. Проверить опубликованный
|
||||
release и локальную выдачу nginx до переключения DNS:
|
||||
|
||||
```bash
|
||||
readlink -f /srv/de-roadmap/current
|
||||
curl --fail --header 'Host: de.dementev.space' http://127.0.0.1/
|
||||
```
|
||||
|
||||
Затем разрешить SSH, HTTP и HTTPS в UFW. Если SSH работает не на стандартном
|
||||
порту `22`, сначала разрешить фактический порт вместо профиля `OpenSSH`:
|
||||
|
||||
```bash
|
||||
sudo ufw default deny incoming
|
||||
sudo ufw default allow outgoing
|
||||
sudo ufw allow OpenSSH
|
||||
sudo ufw allow 'Nginx Full'
|
||||
sudo ufw enable
|
||||
sudo ufw status verbose
|
||||
```
|
||||
|
||||
Ожидается политика `deny (incoming)` и разрешения только для SSH, `80/tcp` и
|
||||
`443/tcp`.
|
||||
|
||||
## DNS и TLS
|
||||
|
||||
1. Уменьшить TTL записи `de.dementev.space`.
|
||||
2. Направить `A` на VPS; удалить или корректно направить `AAAA`.
|
||||
3. Убедиться, что сайт доступен извне по HTTP:
|
||||
|
||||
```bash
|
||||
curl --fail --head http://de.dementev.space/
|
||||
```
|
||||
|
||||
4. Выпустить сертификат и включить перенаправление HTTP на HTTPS:
|
||||
|
||||
```bash
|
||||
sudo certbot --nginx \
|
||||
--non-interactive \
|
||||
--agree-tos \
|
||||
--email me@dementev.space \
|
||||
--redirect \
|
||||
-d de.dementev.space
|
||||
```
|
||||
|
||||
5. В созданном Certbot HTTP-блоке для `de.dementev.space` добавить
|
||||
`server_tokens off;`, затем проверить и перечитать конфигурацию:
|
||||
|
||||
```bash
|
||||
sudoedit /etc/nginx/sites-available/de-roadmap
|
||||
sudo nginx -t
|
||||
sudo systemctl reload nginx
|
||||
```
|
||||
|
||||
6. Проверить перенаправление, HTTPS, сертификат и автоматическое продление:
|
||||
|
||||
```bash
|
||||
curl --head http://de.dementev.space/
|
||||
curl --fail --head https://de.dementev.space/
|
||||
! curl --insecure --head https://167.224.64.252/
|
||||
sudo certbot certificates
|
||||
systemctl is-enabled certbot.timer
|
||||
systemctl is-active certbot.timer
|
||||
```
|
||||
|
||||
Ожидаются `301 Moved Permanently`, затем `200 OK`, отказ TLS по IP,
|
||||
действующий сертификат и состояния таймера `enabled` и `active`.
|
||||
|
||||
7. Вернуть обычный DNS TTL.
|
||||
|
||||
## Проверка и откат
|
||||
|
||||
Активная версия определяется ссылкой `/srv/de-roadmap/current`. Для ручного
|
||||
отката сначала выбрать точный release id из сохранённых каталогов, затем создать
|
||||
временную ссылку и атомарно заменить `current`:
|
||||
|
||||
```bash
|
||||
find /srv/de-roadmap/releases \
|
||||
-mindepth 1 \
|
||||
-maxdepth 1 \
|
||||
-type d \
|
||||
-printf '%f\n' \
|
||||
| sort
|
||||
|
||||
rollback_release='<COMMIT_SHA>-<RUN_ID>'
|
||||
rollback_link='/srv/de-roadmap/.current.rollback'
|
||||
[[ "$rollback_release" =~ ^[0-9a-f]{40}-[0-9]+$ ]]
|
||||
sudo test -d "/srv/de-roadmap/releases/${rollback_release}"
|
||||
sudo test ! -e "$rollback_link"
|
||||
sudo -u gitea-runner \
|
||||
ln -s "releases/${rollback_release}" "$rollback_link"
|
||||
sudo -u gitea-runner \
|
||||
mv -Tf "$rollback_link" /srv/de-roadmap/current
|
||||
readlink -f /srv/de-roadmap/current
|
||||
curl --fail --head https://de.dementev.space/
|
||||
```
|
||||
|
||||
Откат не удаляет более новые releases. Перед их ручным удалением всегда
|
||||
проверять результат `readlink -f /srv/de-roadmap/current`.
|
||||
|
||||
Диагностика:
|
||||
|
||||
```bash
|
||||
sudo systemctl status gitea-runner
|
||||
sudo journalctl -u gitea-runner
|
||||
sudo nginx -t
|
||||
readlink -f /srv/de-roadmap/current
|
||||
curl --fail --head https://de.dementev.space/
|
||||
```
|
||||
@@ -0,0 +1,45 @@
|
||||
[Unit]
|
||||
Description=Gitea Actions runner for de-roadmap
|
||||
Documentation=https://docs.gitea.com/usage/actions
|
||||
Wants=network-online.target
|
||||
After=network-online.target
|
||||
|
||||
[Service]
|
||||
Type=simple
|
||||
User=gitea-runner
|
||||
Group=gitea-runner
|
||||
WorkingDirectory=/var/lib/gitea-runner
|
||||
ExecStart=/usr/local/bin/gitea-runner daemon --config /etc/gitea-runner/config.yaml
|
||||
Restart=always
|
||||
RestartSec=10s
|
||||
TimeoutStopSec=45s
|
||||
KillMode=mixed
|
||||
|
||||
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
|
||||
|
||||
UMask=0022
|
||||
NoNewPrivileges=true
|
||||
PrivateDevices=true
|
||||
PrivateTmp=true
|
||||
ProtectClock=true
|
||||
ProtectControlGroups=true
|
||||
ProtectHome=true
|
||||
ProtectHostname=true
|
||||
ProtectKernelLogs=true
|
||||
ProtectKernelModules=true
|
||||
ProtectKernelTunables=true
|
||||
ProtectSystem=strict
|
||||
ReadWritePaths=/var/lib/gitea-runner /srv/de-roadmap
|
||||
RestrictAddressFamilies=AF_UNIX AF_INET AF_INET6
|
||||
RestrictRealtime=true
|
||||
RestrictSUIDSGID=true
|
||||
LockPersonality=true
|
||||
CapabilityBoundingSet=
|
||||
SystemCallArchitectures=native
|
||||
|
||||
MemoryMax=1G
|
||||
CPUQuota=100%
|
||||
TasksMax=128
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
@@ -0,0 +1,37 @@
|
||||
log:
|
||||
level: info
|
||||
|
||||
runner:
|
||||
file: /var/lib/gitea-runner/.runner
|
||||
capacity: 1
|
||||
timeout: 15m
|
||||
shutdown_timeout: 30s
|
||||
insecure: false
|
||||
fetch_timeout: 5s
|
||||
fetch_interval: 2s
|
||||
fetch_interval_max: 10s
|
||||
workdir_cleanup_age: 24h
|
||||
idle_cleanup_interval: 10m
|
||||
labels:
|
||||
- "de-roadmap-host:host"
|
||||
allocate_pty: false
|
||||
|
||||
cache:
|
||||
enabled: false
|
||||
|
||||
container:
|
||||
valid_volumes: []
|
||||
docker_host: "-"
|
||||
require_docker: false
|
||||
|
||||
host:
|
||||
workdir_parent: /var/lib/gitea-runner/workspaces
|
||||
|
||||
health_check:
|
||||
enabled: true
|
||||
min_free_disk_space_mb: 1024
|
||||
interval: 30s
|
||||
timeout: 10s
|
||||
|
||||
metrics:
|
||||
enabled: false
|
||||
@@ -0,0 +1,34 @@
|
||||
server {
|
||||
listen 80 default_server;
|
||||
listen [::]:80 default_server;
|
||||
listen 443 ssl default_server;
|
||||
listen [::]:443 ssl default_server;
|
||||
|
||||
server_name _;
|
||||
server_tokens off;
|
||||
ssl_reject_handshake on;
|
||||
|
||||
return 404;
|
||||
}
|
||||
|
||||
server {
|
||||
listen 80;
|
||||
listen [::]:80;
|
||||
|
||||
server_name de.dementev.space;
|
||||
root /srv/de-roadmap/current;
|
||||
index index.html;
|
||||
charset utf-8;
|
||||
server_tokens off;
|
||||
|
||||
add_header X-Content-Type-Options "nosniff" always;
|
||||
add_header Referrer-Policy "strict-origin-when-cross-origin" always;
|
||||
|
||||
location / {
|
||||
try_files $uri $uri/ =404;
|
||||
}
|
||||
|
||||
location ~ /\. {
|
||||
deny all;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,116 @@
|
||||
# Публикация сайта через Gitea Actions и VPS
|
||||
|
||||
Статус: реализовано 2026-08-05; механизм синхронизации GitHub-резерва требует
|
||||
отдельного решения после восстановления доступа к GitHub. Инструкции по
|
||||
восстановлению и эксплуатации находятся в
|
||||
[`project/ops/gitea-vps-site/README.md`](../ops/gitea-vps-site/README.md).
|
||||
|
||||
## Проблема
|
||||
|
||||
Сайт `de.dementev.space` публиковался через GitHub Actions и GitHub Pages. После блокировки учётной записи GitHub основной домен стал недоступен, хотя исходный Markdown и конфигурация MkDocs сохранились, а основной Git-репозиторий уже размещён в собственной Gitea.
|
||||
|
||||
Публикация сайта не должна зависеть от доступности учётной записи GitHub. При этом рабочий процесс из исходной архитектуры сохраняется: изменение попадает в `main`, сайт собирается и обновляется автоматически без отдельного ручного деплоя.
|
||||
|
||||
## Цели
|
||||
|
||||
- Публиковать `de.dementev.space` с существующей VPS.
|
||||
- Запускать сборку и публикацию автоматически после push в `main` в Gitea.
|
||||
- Не заменять работающую версию сайта, если получение исходников или строгая сборка MkDocs завершились ошибкой.
|
||||
- Ограничить права runner каталогами, необходимыми для сборки и публикации сайта.
|
||||
- Сохранить GitHub Pages как заранее собираемый резерв на случай проблем с VPS.
|
||||
- Сохранить минимальные накладные расходы и нулевые дополнительные расходы на хостинг.
|
||||
|
||||
## Не цели
|
||||
|
||||
- Автоматическое переключение между VPS и GitHub Pages.
|
||||
- Жёсткие требования к времени восстановления или высокой доступности.
|
||||
- Перенос еженедельной проверки внешних ссылок с GitHub Actions в Gitea Actions.
|
||||
- Изменение существующих файлов в `.github/workflows/`.
|
||||
- Добавление динамического приложения, авторизации или серверной базы данных.
|
||||
|
||||
## Исходное состояние на 2026-08-04
|
||||
|
||||
- MkDocs Material собирает статический каталог `site/`; `site_url` уже равен `https://de.dementev.space/`.
|
||||
- Публичный репозиторий `ddmitry/de-roadmap` в Gitea является текущим `origin`.
|
||||
- Gitea Actions для репозитория включены, но подходящего runner пока нет.
|
||||
- Gitea видит существующие GitHub workflows, однако они зависят от GitHub Pages, GitHub-токенов и сторонних actions.
|
||||
- На VPS, выбранной для сайта, пока нет HTTP-сервера; публично доступен только SSH.
|
||||
|
||||
## Выбранное решение
|
||||
|
||||
### Основной контур публикации
|
||||
|
||||
Gitea становится источником событий для основной публикации. На VPS с сайтом работает repository-scoped Gitea runner, зарегистрированный только для `de-roadmap`. Runner использует host mode и отдельную метку, предназначенную только для этого workflow.
|
||||
|
||||
Workflow хранится отдельно в `.gitea/workflows/deploy-site.yml`. Gitea выбирает `.gitea/workflows` раньше `.github/workflows`, поэтому GitHub-specific workflows сохраняются в репозитории, но не исполняются Gitea.
|
||||
|
||||
Workflow запускается после push в `main` и вручную. Он получает конкретный commit из публичного Gitea-репозитория обычным Git, создаёт изолированное Python-окружение, устанавливает закреплённые версии зависимостей и выполняет строгую сборку MkDocs. Сторонние `uses:` не применяются, поэтому сборка не зависит от GitHub Actions Marketplace.
|
||||
|
||||
### Изоляция runner
|
||||
|
||||
Runner работает как отдельный непривилегированный системный пользователь. У него нет `sudo`, членства в группе `docker` и доступа на запись к конфигурации nginx, сертификатам или другим сервисам VPS.
|
||||
|
||||
Пользователь runner может записывать только в собственный рабочий каталог и каталог релизов сайта. Workflow не запускается для pull request из недоверенных веток. Потребление памяти, CPU и количество процессов ограничиваются средствами менеджера сервисов операционной системы.
|
||||
|
||||
### Публикация и восстановление после ошибки
|
||||
|
||||
Каждая успешная сборка создаёт отдельную версию статического сайта. Новая версия становится активной только после завершения всех проверок. Переключение между версиями выполняется атомарно; частично собранный каталог никогда не становится корнем сайта.
|
||||
|
||||
Ошибка получения исходников, установки зависимостей или сборки оставляет активной предыдущую версию. Как минимум одна предыдущая успешная версия сохраняется для быстрого ручного отката.
|
||||
|
||||
### HTTP и HTTPS
|
||||
|
||||
Статические файлы обслуживает штатный nginx из репозитория Ubuntu. Nginx только читает активную версию сайта и не требует перезагрузки при обычной публикации контента.
|
||||
|
||||
TLS-сертификат для `de.dementev.space` получает и продлевает Certbot с интеграцией nginx. Перед переключением проверяются локальная сборка и конфигурация nginx, а DNS TTL заранее уменьшается. Затем DNS направляется на VPS, проверяется публичная доступность по HTTP и выпускается сертификат. Короткий интервал между переключением DNS и готовностью HTTPS допустим, поскольку жёсткого требования к непрерывной доступности нет.
|
||||
|
||||
### Резерв на GitHub Pages
|
||||
|
||||
После восстановления доступа к GitHub существующий GitHub workflow продолжает собирать сайт из GitHub-репозитория. Чтобы резерв оставался актуальным, изменения из основной Gitea должны автоматически синхронизироваться с GitHub. Предпочтительный кандидат — встроенный Gitea push mirror; окончательный механизм и его права будут согласованы отдельно после восстановления учётной записи. Резерв доступен по стандартному адресу GitHub Pages, но основной домен направлен на VPS.
|
||||
|
||||
GitHub Pages считается тёплым резервом контента и холодным резервом домена. При отказе VPS владелец вручную переключает DNS и при необходимости повторно активирует custom domain в настройках GitHub Pages. Допустимы задержка распространения DNS и ожидание выпуска TLS-сертификата; автоматический failover не требуется.
|
||||
|
||||
## Отклонённые варианты
|
||||
|
||||
- **Периодический pull с VPS:** проще инфраструктурно, но не даёт опыта работы с Gitea runner и менее наглядно связывает push с результатом сборки.
|
||||
- **Runner рядом с Gitea:** усложняет доставку результата на VPS и позволяет сборкам влиять на ресурсы Git-сервера.
|
||||
- **Jobs в Docker:** дают лучшую изоляцию, но требуют доступа runner к Docker и отдельного механизма передачи результата в каталог nginx. Для одного доверенного репозитория это лишняя сложность.
|
||||
- **Caddy вместо nginx:** упрощает автоматический TLS, но штатный nginx лучше соответствует предпочтению владельца и доступен с обновлениями безопасности из основного репозитория Ubuntu. Certbot закрывает задачу TLS отдельно.
|
||||
- **Cloudflare Pages, GitLab Pages или другой внешний Pages-сервис:** уменьшают нагрузку на VPS, но добавляют новую внешнюю учётную запись и зависимость, от которой как раз уходим.
|
||||
- **Ожидание разблокировки GitHub:** сохраняет старую архитектуру, но оставляет сайт недоступным на неопределённый срок.
|
||||
|
||||
## Риски и меры
|
||||
|
||||
| Риск | Мера |
|
||||
|------|------|
|
||||
| Workflow исполняет команды непосредственно на VPS | Repository-scoped runner, отдельный пользователь без `sudo` и Docker, узкие права на запись, запуск только из `main`, системные лимиты ресурсов |
|
||||
| Ошибка сборки ломает опубликованный сайт | Сборка в отдельной версии и атомарное переключение только после успеха |
|
||||
| Сторонний action выполняет неожиданный код | Workflow состоит из собственных команд и не использует `uses:` |
|
||||
| Gitea временно недоступна | Уже опубликованный сайт обслуживается независимо от Gitea |
|
||||
| VPS недоступна или потеряна | Исходники остаются в Gitea; GitHub Pages служит ручным резервом после восстановления GitHub |
|
||||
| После переключения DNS HTTPS ещё не готов | DNS TTL уменьшается заранее; Certbot запускается сразу после подтверждения публичного HTTP; короткий перерыв принят как допустимый |
|
||||
| Сертификат GitHub Pages не готов во время аварии | Допускается задержка; на время восстановления используется стандартный адрес GitHub Pages |
|
||||
| GitHub-резерв отстаёт от Gitea | После восстановления GitHub настраивается автоматическая синхронизация; до выбора механизма резерв не считается тёплым |
|
||||
|
||||
## Проверка реализации
|
||||
|
||||
- Runner после перезагрузки VPS автоматически подключается к Gitea и принимает только jobs с выделенной меткой.
|
||||
- Push тестового изменения в `main` запускает ровно один Gitea workflow и публикует соответствующий commit.
|
||||
- Gitea не запускает workflows из `.github/workflows/`, а сами файлы остаются без изменений.
|
||||
- Workflow не обращается к GitHub за actions и не требует GitHub-токенов.
|
||||
- Ошибка `mkdocs build --strict` завершает workflow с ошибкой и не изменяет публичную версию сайта.
|
||||
- Успешная сборка переключает сайт целиком, без периода частично обновлённого содержимого.
|
||||
- Пользователь runner не может использовать `sudo`, Docker или изменять конфигурацию nginx.
|
||||
- `https://de.dementev.space/` отдаёт собранный сайт с действующим сертификатом после переключения DNS.
|
||||
- Nginx и runner восстанавливаются после перезагрузки VPS без ручного запуска.
|
||||
- После восстановления GitHub и настройки синхронизации резервная сборка получает тот же commit и остаётся доступна по стандартному адресу GitHub Pages.
|
||||
|
||||
## Влияние на документацию
|
||||
|
||||
Эта спецификация заменяет решения о публикации и custom domain из `project/ADR.md`. Решения того документа о MkDocs Material, структуре файлов и dual-compatible links остаются актуальными.
|
||||
|
||||
После реализации нужно обновить `AGENTS.md`, `project/PRD.md` и `project/TODO.md`, чтобы они описывали фактический основной контур публикации. Ссылку на исходный репозиторий в `mkdocs.yml` следует направить на Gitea; ссылку на GitHub можно сохранить как дополнительную после восстановления доступа.
|
||||
|
||||
## Открытый вопрос
|
||||
|
||||
После восстановления GitHub нужно окончательно выбрать способ автоматической синхронизации резервного репозитория. Базовый кандидат — Gitea push mirror с синхронизацией при каждом push; GitHub при этом становится read-only зеркалом, поскольку mirror перезаписывает расходящиеся изменения.
|
||||
Reference in New Issue
Block a user