Назад | Перейти на главную страницу

Дедупликация данных Server 2012 без репликации виртуальных жестких дисков

В настоящее время я пытаюсь использовать дедупликацию данных на двух отдельных узлах Hyper-v Windows Server 2012 Datacenter edition. На одном я пытаюсь удалить реплики, которые все еще повторно синхронизируются каждые 5 минут или около того. С другой стороны, я остановил повторную синхронизацию с помощью сценария PowerShell примерно на 15 серверах (4 терабайта данных) и переместил их в корень тома, на котором включена дедупликация.

Теперь по какой-то причине он работает со всем, что я вставляю, кроме образов Replica VHD. Он их просто пропускает.

Я поставил 50 гигов шаблонов и isos, и все заработало отлично, дедупликацию инициирую так:

Start-DedupeJob -Full -Path R: -Type Optimization

Обычно он отлично работает, но на самом деле я использую его в первую очередь для уменьшения пространства, необходимого для хранения моментального снимка реплики VHD. Я бы предпочел, чтобы хост Hyper-v повторно синхронизировал VHD и выполнял дедупликацию, но если мне нужно удалить синхронизацию, а затем выполнить дедупликацию, а затем неоптимизировать для повторной синхронизации или что-то, что меня устраивает, я могу просто написать сценарий out, но прямо сейчас ни при каких обстоятельствах я не могу получить их для вывода реплики vhds !!! Это сводит меня с ума!

Будем признательны за любые советы, предложения.

ОБНОВИТЬ:

У меня есть два виртуальных жестких диска, один из которых взят из шаблона, а другой является репликой образа диска с данными объемом 1,6 терабайта на другом виртуальном компьютере на другом хосте сервера Hyper-V.

Я сопоставил все свойства файла и разрешения, чтобы они были идентичны, включая право собственности. Единственное, что файл, который работает с дедупликацией, помечен как Attribute APL, а тот, который этого не делает, - это просто Attribute A - я не уверен, что такое P и L, и я не верю, что могу установить его с помощью attrib .Exe.

Так безумно - никакая реплика vhds не сделает ничего подобного!

ОБНОВИТЬ:

Скрипт, который я использую для оптимизации vhds, -

$vhds = Get-ChildItem -Recurse | ? {$_.extension -match "vhd"}

foreach ($vhd in $vhds) {

Mount-VHD -Path $vhd.fullname -Verbose -ReadOnly

Optimize-VHD -path $vhd.fullname -Verbose -Mode Retrim

Dismount-VHD -path $vhd.fullname -Verbose

}

Я запустил это и заметил, что для завершения процесса дедупликации требуется немного больше времени, но дедупликация все еще не выполняется с репликационными VHD. Для меня это очень странно - я надеялся, что если что-то помечает файл как «открытый», этого больше не будет после запуска optimize-vhd. Рассматриваемые VHD уже некоторое время не записываются. Я использовал этот сценарий, чтобы отключить повторную синхронизацию на хосте, чтобы остановить запись:

$vmlist = get-vm * | where {$_.replicationstate -eq "replicating" -and $_.state -eq     "Running"}

foreach ($vm in $vmlist) {

$vmname = $vm.name
set-vmreplication -vmname $vmname -AutoResynchronizeEnabled $false

}

У меня такая же проблема. После чтения этого блога упомянутые вами атрибуты отправили меня на следующий сайт MS ....... глупый атрибут повторного анализа заставляет дедупликацию пропускать реплику vhds.

При дедупликации пропускаются следующие файлы:

Файлы состояния системы

Зашифрованные файлы

Файлы с расширенными атрибутами

Файлы размером менее 32 КБ

Точки повторной обработки (не являются точками повторной обработки дедупликации данных)

http://msdn.microsoft.com/en-us/library/windows/desktop/hh769303(v=vs.85).aspx

Я подозреваю, что ваши реплики VHD либо постоянно открыты с блокировкой записи, либо слишком часто записываются, чтобы их можно было охватить параметром MinimumFileAgeDays (по умолчанию 5 дней, можно установить значение 0 с помощью Set-Dedupvolume <Drive>: -MinimumFileAgeDays 0).

Кстати, документация четко объявляет такую ​​конфигурацию "неподдерживаемой":

Неподдерживаемые конфигурации

Постоянно открывать или менять файлы

Дедупликация не поддерживается для файлов, которые открыты и постоянно изменяются в течение длительных периодов времени или которые имеют высокие требования к вводу-выводу, например, запуск виртуальных машин на узле Hyper-V, работающих баз данных SQL Server или активных сеансов VDI.

Дедупликацию можно настроить для обработки файлов, возраст которых составляет 0 дней, и система продолжит функционировать должным образом, но не будет обрабатывать файлы, которые открыты в монопольном режиме. Использование ресурсов сервера для дедупликации файла, в который постоянно выполняется запись или который будет записан в ближайшем будущем, - не лучший вариант. Если вы измените значение минимального возраста файла по умолчанию на 0, проверьте, что дедупликация не отменяется постоянно при изменении данных.

Дедупликация не будет обрабатывать файлы, которые постоянно и исключительно открыты для операций записи. Это означает, что вы не получите никакой экономии от дедупликации, если файл не будет закрыт, когда задание оптимизации пытается обработать файл, который соответствует выбранным параметрам политики дедупликации.

Таким образом, также содержится следующая рекомендация:

Плохие кандидаты для дедупликации:

  • Хосты Hyper-V
  • VDI VHD
  • WSUS
  • Серверы под управлением SQL Server или Exchange Server
  • Файлы размером не менее 1 ТБ

Похоже, что вы ищете онлайн дедупликация, которая извлекает данные по мере их записи на диск. Это особенность некоторых более сложных решений SAN (включая предложения Nexenta, ориентированные на SMB), но требует довольно высокой стоимости кремния - вам понадобится мощная машина с много оперативной памяти для бесперебойной работы онлайн-дедупликации.