Ошибка «На устройстве не осталось места», несмотря на то, что на btrfs достаточно места

Добро пожаловать в мир BTRFS. У него есть некоторые заманчивые особенности, но есть и некоторые раздражающие проблемы.

Во-первых, некоторая информация о вашей настройке, похоже, у вас есть четыре диска в томе «raid 10» BTRFS (поэтому все данные хранятся дважды на разных дисках). Этот том BTRFS затем разделяется на подобтомы в разных точках монтирования. Подтомы имеют общий пул дискового пространства, но имеют отдельные номера inode и могут быть смонтированы в разных местах.

BTRFS выделяет пространство «фрагментами», фрагмент выделяется определенному классу данных или метаданных. Что может случиться (и похоже, что произошло в вашем случае), так это то, что все свободное пространство распределяется по блокам данных, не оставляя места для метаданных.

Также кажется, что (по причинам, которые я не полностью понимаю), что BTRF «исчерпывает» пространство метаданных до того, как показатель доли используемого пространства метаданных достигает 100%.

Похоже, именно это и произошло в вашем случае: имеется много свободного места для данных, но нет свободного места, которое не было выделено для фрагментов, и недостаточно свободного места в существующих фрагментах метаданных.

Исправление - запустить «ребалансировку». Это переместит данные, так что некоторые фрагменты можно будет вернуть в «глобальный» пул свободных мест, где они могут быть перераспределены как фрагменты метаданных.

btrfs fi balance start -dusage=5 /mnt/durable

Число после -dusage устанавливает, насколько агрессивна перебалансировка, то есть насколько близко должны быть пустые блоки, чтобы их можно было перезаписать. Если баланс говорит, что было переписано 0 блоков, попробуйте еще раз с более высоким значением -dusage.

Если баланс не работает, я бы попробовал перезагрузить и / или освободить место, удалив файлы.

Поскольку вы используете btrfs с настройкой RAID, попробуйте выполнить операцию балансировки.

btrfs balance start /var/opt/gitlab

Если это дает ошибку о нехватке места, попробуйте еще раз, используя этот синтаксис:

btrfs balance start -musage=0 -dusage=0 -susage=0 /var/opt/gitlab 

Повторите эту операцию для каждой файловой системы btrfs, где вы видите ошибки, связанные с пространством. Если проблема с пространством связана с тем, что метаданные не распределяются по зеркальным дискам, это может освободить для вас место.

В моей системе я добавил следующее задание в cron.monthly.

В clear_cache remount возникает из-за некоторых проблем с коррупцией, которые были у btrfs с бесплатными картами. (Думаю, они наконец нашли проблему, но проблема настолько меня раздражает, что я готов платить за восстановление карт один раз в месяц.)

Я наращиваю usage варианты постепенного освобождения места для больших и больших балансов.

#!/bin/sh

for mountpoint in `mount -t btrfs | awk '{print $3}' | sort -u`
do
    echo --------------------------
    echo Balancing $mountpoint :
    echo --------------------------
    echo remount with clear_cache...
    mount -oremount,clear_cache $mountpoint
    echo Before:
    /usr/sbin/btrfs fi show $mountpoint
    /usr/sbin/btrfs fi df $mountpoint
    for size in 0 1 5 10 20 30 40 50 60 70 80 90
    do
        time /usr/sbin/btrfs balance start -v -musage=$size $mountpoint 2>&1
        time /usr/sbin/btrfs balance start -v -dusage=$size $mountpoint 2>&1
    done
    echo After:
    /usr/sbin/btrfs fi show $mountpoint
    /usr/sbin/btrfs fi df $mountpoint
done

Если вы дошли до точки, когда вы не можете выполнить ребалансировку из-за недостатка места, рекомендуется временно добавить другое блочное устройство (или устройство обратной связи на другом диске) какого-либо типа на ваш том на время перебалансировки, а затем убери это.

Это не столько проблема с btrfs, сколько то, что было сделано с этой системой. Это похоже на результат неполной перебалансировки с «единственной» политики выделения на политику выделения «рейд 10», о чем свидетельствует большое количество отдельных выделенных блоков. Вероятно, он начинался как одиночный, а затем преобразование было прервано. Пул с таким непоследовательным распределением обязательно будет иметь ... ну, проблемы с распределением.

Учтите, что у вас израсходован 61% пула. Ваша политика распределения - RAID10, так что это должно привести к максимальному потреблению пула 50% перед достижением полного, поскольку все реплицируется 2. Вот почему ваше преобразование с одиночного на RAID 10 не удалось (и продолжает). Я могу только догадываться, но, вероятно, он был выделен в середине ребалансировки. На вашем устройстве не осталось места для перебалансировки в RAID 10 с имеющимися дисками. Единственная причина, по которой вы достигли 61%, заключается в том, что ваши диски распределены несогласованно, некоторые - линейно с одним распределением, а большинство - в RAID 10.

Вы можете перебалансировать к единой политике распределения, если хотите освободить место, ничего не меняя. Вы также можете добавить больше дисков или увеличить размер дисков. ИЛИ вы можете, как вы это сделали в этом случае, просто удалить кучу файлов, чтобы ваш пул мог фактически сбалансироваться с RAID 10 (так как он будет потреблять менее 50% в целом). Убедитесь, что вы перебалансировали после удаления файлов, иначе у вас все еще будет эта дрянная политика распределения.

В частности, принудительно применяйте RAID 10 при перебалансировке после удаления этих файлов, чтобы убедиться, что вы избавились от этих отдельных выделенных блоков, например:

btrfs fi balance start -dconvert=raid10 -mconvert=raid10 /home