Назад | Перейти на главную страницу

Распространение больших файлов на 500+ компьютеров

Я работаю с командой, которая управляет 500-600 арендованными компьютерами с Windows 7 для ежегодной конференции. У нас есть большой объем данных, который необходимо синхронизировать с этими компьютерами, до 1 ТиБ. Компьютеры разделены на комнаты и подключены через неуправляемые гигабитные коммутаторы. Мы заранее подготавливаем эти компьютеры к установке и настройке Windows, а также любые файлы, которые у нас есть, до того, как мы отправим базовый образ для репликации компанией по аренде. Каждый год к нам приходят докладчики, которые приходят на место и предлагают до гигабайт данных, которые необходимо отправить в комнату, в которой они будут проводить презентацию. Иногда у них есть только несколько файлов небольшого размера, например, PDF-слайд, но они могут иногда намного больше, чем 5 ГиБ.

Наша текущая стратегия распространения этих файлов заключается в использовании пакетных сценариев и RoboCopy. Для больших толчков мы фактически используем клиент BitTorrent для создания торрент-файла, а затем мы используем пакетную RoboCopy, чтобы отправить торрент в папку на удаленных машинах, за которой следит установленный клиент BT. Часто эти данные необходимо отправить немедленно с небольшим временным окном. У нас есть несколько машин в диспетчерской, которые идентичны машинам на полу, которые мы используем для этих толчков.

Иногда нам нужно выполнить программу на удаленных машинах, и в настоящее время мы используем пакетную обработку и PSexec для выполнения этой задачи.

Мы хотели бы иметь возможность ответить на эти толчки в последнюю минуту словами «извините, ваша вина», но этого не произойдет. Метод BT позволил нам иметь гораздо более быстрое время отклика, но весь пакетный процесс может стать беспорядочным, когда отправляется несколько заданий. Мы используем Enterprise Ghost для других процессов, и он не работает в таком большом масштабе, к тому же это действительно довольно дорого для выполнения такой раз в год задачи.

РЕДАКТИРОВАТЬ: существует жесткое требование, чтобы удаленные машины на полу работали под управлением Windows. Управляющие машины не нуждаются в жесткой ОС. Я бы действительно хотел держаться подальше от многоадресной рассылки из-за сложностей с восходящими маршрутизаторами. Что лучше: Multicast или BitTorrent? Есть ли другой протокол, который может работать лучше?

Вам действительно нужна программа многоадресной передачи файлов: UFTP, с хорошей документацией и расширениями в стиле proxt для обхода NAT / маршрутизатора.

Вы могли бы захотеть изучить убийство

Убийство - это метод использования Bittorrent для распространения файлов на большое количество серверов в производственной среде. Это обеспечивает масштабируемое и быстрое развертывание в средах с сотнями и десятками тысяч серверов, где централизованные системы распространения в противном случае не работали бы.

.

Убийство было разработано людьми из твиттер, и они ежедневно используют его для распространения файлов.

Возможно, появилось новое решение: BitTorrent Sync

Позже редактировать: на самом деле в эти дни я, вероятно, рекомендовал бы git-приложение помощник или синхронизация но есть много альтернативы

У меня может быть для вас идея, которая поможет. Простите меня, поскольку я не совсем понимаю, почему это должно быть так сложно, но если вам нужно сделать его простым для конечного пользователя и в то же время сделать данные быстрым и легким для доступа в локальной сети, возможно, вы могли бы пойти с Устройство NAS. У меня есть Synology DS1812 +, он может RSYNC с другим диском Synology или различными устройствами с поддержкой RSYNC, у него есть приложение с поддержкой торрентов под названием «Download Station», я знаю, что вы можете загружать торрент-файлы из отсека для дисков, и я считаю, что вы также можете создавать или опубликуйте торрент-файл с помощью этого приложения, чтобы позволить другим скачивать нужный им файл. У него есть приложения для мобильных устройств Apple и Android. Он также может выполнять передачу по FTP. Этот отсек для дисков может дать вам возможность быстро отправить в него файл, а затем быстро и легко распределить его по локальной сети. Я предлагаю разместить данные в локальной сети, чтобы ускорить доступ пользователей локальной сети, но прелесть этих устройств NAS в том, что вы можете размещать их где угодно в сети, если у них есть быстрое подключение к Интернету. Возможно, вам подойдет одно из высокопроизводительных устройств Synology NAS.

У Synology есть виртуальный интерфейс, который вы можете просмотреть, чтобы лучше понять, будет ли он полезен для вас. Я вставлю ссылку ниже в виртуальный интерфейс

http://www.synology.com/products/dsm_livedemo.php?lang=us

Это устройство также дает людям возможность доступа к своим данным через веб-интерфейс или приложение на мобильном устройстве.

Надеюсь, это поможет, и, как я уже сказал, простите меня, если я не понимаю вопрос правильно.