Пришлось разрушить и воссоздать бассейн из-за некоторые другие проблемы. Я заметил, что производительность на новом пуле ужасна.
Если раньше в старом пуле ARC был заполнен, а количество совпадений ARC было высоким, количество совпадений ARC в новом пуле значительно снизилось.
На новом пуле ARC просто не заполняется.
Схема попаданий ARC тоже странная. Если один или два клиента попытаются воспроизвести видео, ARC включится на несколько секунд, а затем резко упадет до 0, что приведет к прерыванию и остановке воспроизведения видео.
Почему производительность нового пула так низка?
Оказывается, новый бассейн просто нужно было очистить.
Без скраба кажется, что база данных ZFS была довольно запутанной, возможно, все еще сопоставленной с информацией из старого, удаленного пула, и каждый новый запрос на воспроизведение видеоклипа заставлял его искать данные на вращающихся дисках.
После очистки ZFS могла правильно загружать файлы в ARC, и возвращалась хорошая производительность.