ZFS и SAN - лучшие практики?
Наиболее обсуждения ZFS предлагает отключить аппаратный RAID и ZFS должна напрямую взаимодействовать с дисками и управлять RAID на хосте (вместо RAID-контроллера).
Это имеет смысл на компьютере с 2–16 или даже более локальными дисками, но как насчет среды с большим SAN?
Например, на предприятии, на котором я работаю, есть сеть SAN небольшого размера с 2 полными стойками дисков, что составляет примерно 400 шпинделей. Я видел полки SAN, которые намного плотнее, чем наши, и развертывания SAN намного больше, чем наши.
Предоставляют ли люди 100 дисков напрямую большим серверам ZFS? 300 дисков? 3000 дисков? Облегчают ли инструменты управления SAN автоматическое управление подобными вещами?
FWIW У меня есть опыт работы с 92 диска в одном пуле ZFS и пока работает нормально.
Но если вы действительно говорите о нескольких сотнях дисков, я бы подумал разделение их в небольшое количество разрозненных (но все же больших) пулов. Я не хочу знать, как долго, например, а zpool scrub работает в пуле дисков 3000 (но вы хотите регулярно чистить). Также вывод таких команд, как zpool status было бы громоздко с таким большим количеством дисков. Так зачем складывать все яйца в одну корзину?
(Примечание по дедупликация: Обратите внимание, что, хотя дедупликацию можно контролировать на уровне набора данных, дубликаты будут найдены на уровне пула. Т.е. вы, вероятно, получите худшие результаты дедупликации, если будете разбивать разделы, как предлагается. С другой стороны, вам понадобится намного больше памяти для хранения хэшей с дедупликацией одного гигантского пула, который может не поместиться в ARC + L2ARC, если пул слишком велик. Так что, если вы используете дедупликацию, объем доступной памяти, вероятно, является хорошим индикатором максимального практического размера пула.)
Мы позволяем нашим сетям SAN управлять RAID. Зачем тратить деньги на всю эту энергонезависимую память с батарейным питанием и эти выделенные процессоры, а затем переложить работу на сервер, чьи процессоры я хочу делать что-то, кроме контрольных сумм RAID?
Вот веб-сайт, на который вы можете захотеть посмотреть, чтобы рассмотреть размер и конфигурацию пула (ов) на предмет вероятности потери данных.
https://blogs.oracle.com/relling/entry/zfs_copies_and_data_protection
Это старый вопрос, но он актуален сегодня, как и 7 лет назад!
Чтобы ответить на первую часть вопроса, я не знаю, что мы бы назвали «SAN», которая когда-либо предоставляла бы необработанные диски серверу, на котором могла бы работать ZFS. SAN по определению представляет собой только блочное хранилище (LUN) или, возможно, что-то вроде Filer / FS представляет NFS или CIFS. Есть некоторые «SAN», которые фактически работают с ZFS внутри, но это в значительной степени абстрагировано - диски никогда не открываются серверу, вместо этого компонент «Filer» SAN представляет серверы блочные или сетевые файловые системы.
Устройство, которое представляет необработанные диски (через SAS или, что менее вероятно, через FC), является DAS. Чтобы запустить ZFS, обычно вы указываете RAID-контроллеру представить диски как JBOD.
Однако следует ли использовать ZFS на LUN, представленном SAN? Возможно: ZFS по сравнению, например, с EXT4, предоставляет несколько дополнительных функций, таких как скрабы для проверки контрольных сумм или для запуска снимков. Скраб, вероятно, не может автоматически лечить так же, как если бы он делал RAID на диске, но он все равно может предупредить вас о повреждении, помогая предотвратить битрот. Моментальные снимки, которые вы можете создавать, например, на файловом сервере Linux SAMBA, значительно превосходят то, что вы можете делать с EXT, они даже могут быть представлены в Windows как «Предыдущие версии».
Если вы не предоставите ZFS избыточные данные для работы (например, зеркала, RAID-Z), вы потеряете многие преимущества их использования. Количество задействованных дисков не изменит этого факта. Однако действительно ли это имеет значение, зависит от вашей среды. Вы должны определить, какие функции хранения вам нужны (потенциально трудоемкий анализ), а затем искать наименее дорогостоящее решение (которое вы можете себе позволить), отвечающее вашим потребностям. Это может означать использование ZFS повсюду вместе со специализированными устройствами хранения Oracle (некоторые люди делают это и имеют много дисков, открытых для ZFS без проблем, и используют инструменты Oracle для управления), это может означать использование только корпоративных продуктов SAN, или это может означать использование некоторый гибрид (в этом случае вам, вероятно, придется самостоятельно разработать некоторые инструменты и процессы для управления средой). Не забывайте, что ваш анализ также должен учитывать человеческий фактор (например, возможно, у вас есть команда специалистов по хранению данных, которые прошли очень полезное и специализированное обучение работе с продуктом SAN, которое вы потеряете, если перейдете к решению, полностью основанному на ZFS). .