Я планирую создать файловый сервер с использованием ZFS и BSD, и я надеялся сделать его более расширяемым, подключив диски, хранящиеся на других машинах, в той же стойке через iSCSI (например, на одной машине работает ZFS, а на других - iSCSI. цели, доступные для подключения с помощью ZFS-бокса и добавления в zpools).
Поиск других людей, которые пробовали это, в значительной степени привел меня к ресурсам о предоставлении общих ресурсов iSCSI поверх ZFS, но ничего об обратном. В первую очередь у меня следующие вопросы:
Что касается емкости, первоначально это будет около 10 ТБ данных (без учета избыточности), и разумной целью в обозримом будущем будет масштабирование до 20 ТБ, поэтому с избыточностью, вероятно, будет около 40-50 ТБ общего хранилища. Если возможно, мы также хотим, чтобы все данные были зашифрованы с помощью GELI.
Спасибо за любую помощь.
Какова ваша цель с точки зрения емкости? Это определенно возможно, поскольку ZFS сможет видеть ваши цели и объединять их в пулы. Тем не менее, вы оставляете на столе хорошую производительность и надежность.
Моя рекомендация по масштабированию (при том, что, как я предполагаю, соответствует вашим потребностям в емкости) - это вложить средства во внешний дисковый корпус SAS multipath-cabale и контроллеры, поддерживающие ZFS. Если это ситуация, когда вам нужно больше, чем, скажем, 24 ТБ используемого хранилища RAID 1 + 0, предоставляемого один внешний корпус, заполненный дисками емкостью 2 ТБ, значит, вы окажетесь в той сфере, где вам пригодятся советы экспертов по дизайну. На этом уровне iSCSI с использованием дисков, имеющихся в других системах, не ускорит работу.
Конструкция iSCSI потерпит неудачу из-за задержек, надежности и возможности поддержки.
Что касается вашего вопроса об iSCSI через Ethernet - iSCSI - это чуть ли не самый быстрый протокол, который вы найдете. Это в основном прямой доступ к блоку диска по сети. Это насытит приличный гигабитный сетевой адаптер.
Что касается потери целей в сети, (почти) каждая реализация цели iSCSI, которую я видел, поддерживает несколько путей. Я думаю, что open-ietd может еще не поддерживать множественный путь. В худшем случае вы используете файловую систему с журналированием; возможно, вам придется воспроизвести журнал, когда цель вернется в онлайн. Мне еще не удалось повредить файловую систему через iSCSI из-за отключения сервера хранения.
Примечание: на самом деле я этого не делал, поэтому отнеситесь к этому с долей скепсиса. Я видел упоминание об этом, читая о ZFS, но сейчас не могу найти эти ссылки ...
Вы хотите экспортировать каждый физический диск как отдельный LUN, чтобы ZFS полностью отображала физическую структуру. Это необходимо для принятия правильных решений о планировании ввода-вывода и репликации.
Достаточно ли быстр iSCSI через гигабитный Ethernet для этой цели, или мне придется переключиться на 10GbE, чтобы получить достойную производительность?
Это зависит от скорости дисков, их количества и производительности, которую вы хотите достичь. Диски со скоростью вращения 15 тыс. Об / мин могут передавать до 105 МБ / с, что составляет 840 МБ / с. Доступ к нескольким таким дискам по одному гигабитному каналу приведет к насыщению канала и сделает вашу сеть узким местом. Найдите максимальную скорость дисков, которые вы хотите использовать, умножьте на количество дисков, и вы получите пропускную способность сети, необходимую для ее поддержки.
Это, конечно, предполагает, что вам нужна максимально возможная производительность сервера ZFS. Если у вас есть только несколько клиентов, подключенных со скоростью более 100 Мбит / с, в этом нет необходимости, поэтому рассчитайте, какой максимальный спрос вы ожидаете. Имейте в виду, что пропускная способность дисков немного выше, чем пропускная способность клиента, если вы используете RAIDZ1 / 2/3, и, конечно, если сервер обращается к дискам через тот же сетевой адаптер, что и клиенты, обращающиеся к серверу, эта пропускная способность нужно поделиться.
Что произойдет, если одна из машин, на которых запущены цели iSCSI, отключится от сети?
ZFS увидит, что диск становится недоступным. Если вы используете RAID1 / 2/3, это не должно прерывать обслуживание клиентов. Если вы настроили горячий резерв ZFS, начнется повторная синхронизация данных с ним. Когда цель iSCSI возвращается, ZFS должна снова начать ее использовать, предполагая, что инициатор автоматически переподключится. (Это то, что вам следует проверить.)