docs(rclone): добавлена настройка Яндекс Диска для Ubuntu
- Зачем: - нужна удобная работа с документами на большом Яндекс Диске из Linux. - Что: - собраны выводы о поведении rclone mount на больших хранилищах. - добавлены команды установки, настройки, проверки и автозапуска в Ubuntu 26.04. - описаны ограничения кэша, внешних изменений и рекурсивного обхода. - Проверка: - выполнена проверка `git diff --cached --check`.
This commit is contained in:
ddadmin committed
1 parent
2d4af081b8
commit
97193eaa4b
1 file changed
+325
@@ -0,0 +1,325 @@
|
|||||||
|
# rclone mount и большой Яндекс Диск
|
||||||
|
|
||||||
|
Дата проверки: 2026-07-27.
|
||||||
|
|
||||||
|
## Вывод
|
||||||
|
|
||||||
|
Обычный `rclone mount` не обходит весь Диск при запуске. Он создаёт корневой
|
||||||
|
узел и перечисляет каталог только при первом обращении к нему. Поэтому время
|
||||||
|
подключения почти не зависит от общего объёма и числа файлов. Первый просмотр
|
||||||
|
конкретного каталога зависит от числа элементов именно в этом каталоге.
|
||||||
|
|
||||||
|
Для редкого чтения и редактирования документов на многотерабайтном Диске такой
|
||||||
|
режим подходит. Главные ограничения — медленные каталоги с очень большим числом
|
||||||
|
непосредственных детей, задержка появления изменений, сделанных через браузер,
|
||||||
|
и возможное ограничение скорости со стороны Яндекс API при массовой работе с
|
||||||
|
мелкими файлами.
|
||||||
|
|
||||||
|
## Что происходит при запуске
|
||||||
|
|
||||||
|
В исходниках rclone 1.74.4 конструктор VFS создаёт пустой корневой каталог.
|
||||||
|
Рекурсивное чтение запускается только при включённом `--vfs-refresh`.
|
||||||
|
Обычное чтение каталога вызывает `list.DirSorted` только для запрошенного пути.
|
||||||
|
|
||||||
|
Кэш списка каталогов хранится в памяти. `--dir-cache-time` определяет срок его
|
||||||
|
жизни в рамках работающего процесса; после перезапуска посещённые каталоги
|
||||||
|
нужно перечислить заново. Дисковый VFS-кэш содержимого файлов сохраняется
|
||||||
|
отдельно и может переживать перезапуск.
|
||||||
|
|
||||||
|
Источники:
|
||||||
|
|
||||||
|
- [исходник VFS rclone 1.74.4](https://github.com/rclone/rclone/blob/v1.74.4/vfs/vfs.go);
|
||||||
|
- [исходник каталога VFS rclone 1.74.4](https://github.com/rclone/rclone/blob/v1.74.4/vfs/dir.go);
|
||||||
|
- [документация rclone mount](https://rclone.org/commands/rclone_mount/).
|
||||||
|
|
||||||
|
## Что может вызвать полный обход
|
||||||
|
|
||||||
|
Не следует включать:
|
||||||
|
|
||||||
|
- `--vfs-refresh` — рекурсивно наполняет кэш каталогов после запуска;
|
||||||
|
- `--vfs-used-is-size` — вычисляет занятое место алгоритмом `rclone size` и
|
||||||
|
сканирует весь удалённый ресурс;
|
||||||
|
- автоматический `du`, `find`, полнотекстовый поиск или построение миниатюр от
|
||||||
|
корня подключённого Диска.
|
||||||
|
|
||||||
|
Обычный `df` безопасен: backend Яндекс Диска поддерживает получение квоты через
|
||||||
|
операцию `about`, поэтому подсчёт всех файлов не нужен.
|
||||||
|
|
||||||
|
Источник: [backend Яндекс Диска в rclone](https://rclone.org/yandex/).
|
||||||
|
|
||||||
|
## Изменения через браузер
|
||||||
|
|
||||||
|
VFS сразу знает об изменениях, сделанных через это же подключение. Изменения,
|
||||||
|
сделанные через браузер или другое устройство, могут быть не видны до истечения
|
||||||
|
`--dir-cache-time`, если backend не поддерживает уведомления об изменениях.
|
||||||
|
Практический отзыв владельца 2 ТБ Яндекс Диска показывает именно этот эффект:
|
||||||
|
при `--dir-cache-time 12h` внешние изменения долго оставались невидимыми.
|
||||||
|
|
||||||
|
Источник: [обсуждение 2 ТБ Яндекс Диска на форуме rclone](https://forum.rclone.org/t/how-to-automatically-synchronize-files/30752).
|
||||||
|
|
||||||
|
## Индексация GNOME
|
||||||
|
|
||||||
|
Текущая система рекурсивно индексирует домашний каталог, но LocalSearch по
|
||||||
|
умолчанию пропускает точки монтирования. Подключение всё же лучше держать в
|
||||||
|
`/mnt/yandex` и не добавлять его в «Параметры → Поиск → Места поиска».
|
||||||
|
|
||||||
|
Источник: [правила индексирования GNOME LocalSearch](https://gnome.pages.gitlab.gnome.org/localsearch/indexed-data.html).
|
||||||
|
|
||||||
|
## Отзывы пользователей
|
||||||
|
|
||||||
|
Повторяются следующие наблюдения:
|
||||||
|
|
||||||
|
- сценарий «файлы по требованию» считают естественным применением
|
||||||
|
`rclone mount`; это живое сетевое представление, а не полноценная офлайн-
|
||||||
|
синхронизация;
|
||||||
|
- даже хранилища с очень большим общим числом файлов могут подключаться, пока
|
||||||
|
программы не пытаются рекурсивно обходить всё дерево;
|
||||||
|
- каталоги с десятками тысяч мелких файлов остаются чувствительными к сетевой
|
||||||
|
задержке;
|
||||||
|
- по Яндекс Диску встречаются сообщения об ограничении скорости и ошибках
|
||||||
|
блокировки при массовой загрузке мелких файлов. Основная подробная подборка
|
||||||
|
относится к 2022 году, поэтому это сигнал для пробного теста, а не доказательство
|
||||||
|
текущего ограничения;
|
||||||
|
- Яндекс официально гарантирует работу своих клиентов, а сторонние клиенты не
|
||||||
|
поддерживает.
|
||||||
|
|
||||||
|
Источники:
|
||||||
|
|
||||||
|
- [современное обсуждение files-on-demand](https://www.reddit.com/r/rclone/comments/1tlhtxm/im_trying_to_understand_rclone_mount_and/);
|
||||||
|
- [обсуждение 1,7 млрд мелких файлов](https://www.reddit.com/r/rclone/comments/1oc77za/);
|
||||||
|
- [подборка проблем rclone и Яндекс Диска](https://forum.rclone.org/t/rclone-and-yandex-disk-2022-09-summary/33162);
|
||||||
|
- [обсуждение 60 тысяч мелких файлов](https://www.reddit.com/r/rclone/comments/jhm1zn/).
|
||||||
|
|
||||||
|
## Настройка на текущем компьютере
|
||||||
|
|
||||||
|
Команды ниже рассчитаны на установленную здесь Ubuntu 26.04 LTS
|
||||||
|
`x86_64` (`amd64`). `fuse3` и `/usr/bin/fusermount3` уже установлены.
|
||||||
|
|
||||||
|
### 1. Установка rclone
|
||||||
|
|
||||||
|
В репозитории Ubuntu 26.04 сейчас находится rclone 1.60.1, тогда как актуальный
|
||||||
|
выпуск — 1.74.4. Разработчики rclone предупреждают, что пакеты дистрибутивов
|
||||||
|
часто отстают. Для монтирования лучше поставить текущий официальный пакет:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
curl -fL \
|
||||||
|
https://downloads.rclone.org/rclone-current-linux-amd64.deb \
|
||||||
|
-o /tmp/rclone-current-linux-amd64.deb
|
||||||
|
sudo apt install /tmp/rclone-current-linux-amd64.deb
|
||||||
|
rclone version
|
||||||
|
```
|
||||||
|
|
||||||
|
Snap-пакет не подходит: из-за его ограничений команда `rclone mount` не
|
||||||
|
поддерживается.
|
||||||
|
|
||||||
|
Источник: [официальная инструкция по установке rclone](https://rclone.org/install/).
|
||||||
|
|
||||||
|
### 2. Подключение учётной записи
|
||||||
|
|
||||||
|
```bash
|
||||||
|
rclone config
|
||||||
|
```
|
||||||
|
|
||||||
|
В диалоге:
|
||||||
|
|
||||||
|
1. Выбрать `n` — создать новое подключение.
|
||||||
|
2. Назвать его `yandex`.
|
||||||
|
3. Выбрать тип хранилища `yandex`.
|
||||||
|
4. `client_id` и `client_secret` оставить пустыми.
|
||||||
|
5. Разрешить вход через браузер и подтвердить доступ.
|
||||||
|
6. Сохранить подключение.
|
||||||
|
|
||||||
|
Проверить конфигурацию без рекурсивного обхода Диска:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
rclone listremotes
|
||||||
|
rclone lsd yandex:
|
||||||
|
rclone about yandex:
|
||||||
|
rclone config file
|
||||||
|
chmod 600 "$HOME/.config/rclone/rclone.conf"
|
||||||
|
```
|
||||||
|
|
||||||
|
Последний файл содержит OAuth-токен. Его нельзя добавлять в Git или передавать
|
||||||
|
другим людям. Для первой проверки не следует запускать `rclone ls yandex:`:
|
||||||
|
в отличие от `lsd`, эта команда рекурсивно перечисляет все файлы.
|
||||||
|
|
||||||
|
Источник: [настройка backend Яндекс Диска](https://rclone.org/yandex/).
|
||||||
|
|
||||||
|
### 3. Пробное монтирование
|
||||||
|
|
||||||
|
Создать постоянную точку монтирования и каталог кэша:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
sudo install -d -o "$USER" -g "$USER" -m 0750 /mnt/yandex
|
||||||
|
mkdir -p "$HOME/.cache/rclone/yandex"
|
||||||
|
```
|
||||||
|
|
||||||
|
Запустить rclone в терминале:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
rclone mount yandex: /mnt/yandex \
|
||||||
|
--config "$HOME/.config/rclone/rclone.conf" \
|
||||||
|
--cache-dir "$HOME/.cache/rclone/yandex" \
|
||||||
|
--vfs-cache-mode full \
|
||||||
|
--vfs-cache-max-size 30G \
|
||||||
|
--vfs-cache-min-free-space 100G \
|
||||||
|
--vfs-cache-max-age 720h \
|
||||||
|
--vfs-write-back 10s \
|
||||||
|
--dir-cache-time 1h \
|
||||||
|
--poll-interval 0 \
|
||||||
|
--attr-timeout 1s \
|
||||||
|
--buffer-size 8M \
|
||||||
|
--transfers 4 \
|
||||||
|
--timeout 1h \
|
||||||
|
--log-level INFO
|
||||||
|
```
|
||||||
|
|
||||||
|
Эти размеры выбраны с учётом текущего свободного места в `/home`: кэш ограничен
|
||||||
|
30 ГБ, а rclone начнёт освобождать его при остатке менее 100 ГБ. Ограничение
|
||||||
|
не абсолютно: открытые и ещё не загруженные файлы нельзя удалить из кэша.
|
||||||
|
`--timeout 1h` нужен на случай загрузки файлов больше примерно 5 ГиБ.
|
||||||
|
|
||||||
|
Подключение работает в переднем плане. Для обычной остановки нажать `Ctrl+C`.
|
||||||
|
Если точка осталась подключённой после аварии:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
fusermount3 -u /mnt/yandex
|
||||||
|
```
|
||||||
|
|
||||||
|
### 4. Проверка перед автозапуском
|
||||||
|
|
||||||
|
В другом терминале:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
findmnt /mnt/yandex
|
||||||
|
ls /mnt/yandex
|
||||||
|
```
|
||||||
|
|
||||||
|
Затем открыть копию документа, изменить её, закрыть редактор и подождать больше
|
||||||
|
10 секунд. После этого проверить файл через веб-интерфейс Яндекс Диска. Важно
|
||||||
|
именно закрыть документ: rclone отправляет изменения после закрытия файла и
|
||||||
|
истечения `--vfs-write-back`.
|
||||||
|
|
||||||
|
Если rclone завершится раньше отправки, изменённый файл останется в VFS-кэше и
|
||||||
|
будет отправлен при следующем запуске с теми же параметрами. Поэтому нельзя
|
||||||
|
удалять каталог кэша после сбоя. Нельзя также одновременно запускать две копии
|
||||||
|
rclone для одного подключения с общим кэшем.
|
||||||
|
|
||||||
|
### 5. Постоянный запуск через systemd
|
||||||
|
|
||||||
|
После успешной ручной проверки создать файл
|
||||||
|
`~/.config/systemd/user/rclone-yandex.service`:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
mkdir -p "$HOME/.config/systemd/user"
|
||||||
|
vim "$HOME/.config/systemd/user/rclone-yandex.service"
|
||||||
|
```
|
||||||
|
|
||||||
|
И вставить в него:
|
||||||
|
|
||||||
|
```ini
|
||||||
|
[Unit]
|
||||||
|
Description=Яндекс Диск через rclone
|
||||||
|
Documentation=https://rclone.org/commands/rclone_mount/
|
||||||
|
Wants=network-online.target
|
||||||
|
After=network-online.target
|
||||||
|
|
||||||
|
[Service]
|
||||||
|
Type=notify
|
||||||
|
ExecStart=/usr/bin/rclone mount yandex: /mnt/yandex \
|
||||||
|
--config=%h/.config/rclone/rclone.conf \
|
||||||
|
--cache-dir=%h/.cache/rclone/yandex \
|
||||||
|
--vfs-cache-mode=full \
|
||||||
|
--vfs-cache-max-size=30G \
|
||||||
|
--vfs-cache-min-free-space=100G \
|
||||||
|
--vfs-cache-max-age=720h \
|
||||||
|
--vfs-write-back=10s \
|
||||||
|
--dir-cache-time=1h \
|
||||||
|
--poll-interval=0 \
|
||||||
|
--attr-timeout=1s \
|
||||||
|
--buffer-size=8M \
|
||||||
|
--transfers=4 \
|
||||||
|
--timeout=1h \
|
||||||
|
--log-level=INFO
|
||||||
|
Restart=on-failure
|
||||||
|
RestartSec=10s
|
||||||
|
TimeoutStopSec=5min
|
||||||
|
|
||||||
|
[Install]
|
||||||
|
WantedBy=default.target
|
||||||
|
```
|
||||||
|
|
||||||
|
В службе не нужен `--daemon`: за процессом следит systemd. `%h` раскрывается
|
||||||
|
самим systemd в абсолютный путь к домашнему каталогу; `~` и `$HOME` в
|
||||||
|
`ExecStart` использовать не следует.
|
||||||
|
|
||||||
|
Включить службу:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
systemctl --user daemon-reload
|
||||||
|
systemctl --user enable --now rclone-yandex.service
|
||||||
|
systemctl --user status rclone-yandex.service
|
||||||
|
```
|
||||||
|
|
||||||
|
Смотреть журнал:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
journalctl --user -u rclone-yandex.service -f
|
||||||
|
```
|
||||||
|
|
||||||
|
Остановить или снова запустить:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
systemctl --user stop rclone-yandex.service
|
||||||
|
systemctl --user restart rclone-yandex.service
|
||||||
|
```
|
||||||
|
|
||||||
|
Если изменения, сделанные через браузер, нужны раньше истечения одного часа,
|
||||||
|
сбросить только кэш каталогов этой службы:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
systemctl --user kill \
|
||||||
|
--kill-whom=main \
|
||||||
|
--signal=HUP \
|
||||||
|
rclone-yandex.service
|
||||||
|
```
|
||||||
|
|
||||||
|
Это не сканирует весь Диск: нужные каталоги будут перечитаны при следующем
|
||||||
|
обращении. Не следует посылать сигнал всем процессам rclone разом.
|
||||||
|
|
||||||
|
На новых выпусках Ubuntu FUSE изредка блокируется AppArmor с ошибкой
|
||||||
|
`fusermount3: mount failed: Permission denied`. Не нужно заранее отключать
|
||||||
|
защиту. Если ошибка действительно появится, сначала проверить системный журнал
|
||||||
|
и применить актуальное для Ubuntu исправление из
|
||||||
|
[раздела Mounting on Linux](https://rclone.org/commands/rclone_mount/#mounting-on-linux).
|
||||||
|
|
||||||
|
### Что здесь называется синхронизацией
|
||||||
|
|
||||||
|
`rclone mount` не создаёт полную локальную копию нескольких терабайт. Это живое
|
||||||
|
представление Диска: файл скачивается по требованию, а закрытый изменённый файл
|
||||||
|
отправляется обратно через 10 секунд. Именно этот режим рекомендуется здесь.
|
||||||
|
|
||||||
|
Команда `rclone sync` решает другую задачу: приводит каталог назначения к
|
||||||
|
каталогу-источнику и удаляет из назначения лишние файлы. Для всего большого
|
||||||
|
Диска она вызовет полный рекурсивный обход, поэтому в этой схеме её не нужно
|
||||||
|
запускать.
|
||||||
|
|
||||||
|
Источник: [документация rclone mount и VFS-кэша](https://rclone.org/commands/rclone_mount/).
|
||||||
|
|
||||||
|
## Рекомендация для проверки
|
||||||
|
|
||||||
|
Сначала провести короткий пробный запуск без автозапуска:
|
||||||
|
|
||||||
|
1. Не использовать `--vfs-refresh`, `--vfs-used-is-size` и рекурсивные
|
||||||
|
индексаторы.
|
||||||
|
2. Включить `--vfs-cache-mode full`.
|
||||||
|
3. Ограничить дисковый кэш примерно 20–30 ГБ.
|
||||||
|
4. Начать с `--dir-cache-time 1h`: это компромисс между повторными запросами и
|
||||||
|
видимостью изменений из браузера.
|
||||||
|
5. Замерить время подключения, открытия корня, нескольких обычных каталогов и
|
||||||
|
одного самого большого каталога.
|
||||||
|
6. На копии документа проверить открытие, сохранение, появление файла в веб-
|
||||||
|
интерфейсе и повторное открытие из кэша.
|
||||||
|
|
||||||
|
Если эти проверки проходят, общий объём в несколько ТБ сам по себе не является
|
||||||
|
препятствием для постоянного подключения.
|
||||||
Reference in new issue
Block a user