Назад | Перейти на главную страницу

Эффективные решения для доступа к большим данным (нуб)

У меня есть собственный веб-сайт, который позволяет пользователям входить в систему и просматривать данные, хранящиеся в разных файлах в сети. На веб-сервере работает служба, которая получает доступ к данным и отправляет их пользователям.

Настройка проста: веб-сервер представляет собой выделенную машину, соединенную с другими серверами данных через гигабитную локальную сеть. Веб-служба получает доступ к данным через простые общие файловые ресурсы SMB. Он ничего не знает о сети и просто использует простые пути к файлам, например \\dataserver1\foo\bar.jpg. Каждый сервер данных хранит данные объемом в терабайты.

Я заметил, что доступ к данным несколько медленнее, чем я ожидал. Это лучший способ сделать данные доступными для пользователей? Есть ли лучшее и более эффективное решение, чем файловые ресурсы SMB? Эта система полностью основана на Windows.

\ Ну, во-первых - я бы избавился от \\ dataserver1 \ - мне очень нравится использовать DFS для организации моих общих ресурсов в иерархии, которая НЕ содержит имени сервера. Позволяет репликацию и т. Д. На более поздних этапах.

Тем не менее - вы в основном закончили. Вам нужно выяснить, в чем заключаются ваши узкие места. На 2008R2 общие файловые ресурсы не особо медленные. Но для больших файлов сеть может быть медленной (гигабитная сеть - извините - не совсем быстрая, 80 Мбит / с - все, что вы здесь получите). У вас также могут быть проблемы с памятью или перегрузка дискового ввода-вывода, поэтому я предлагаю провести анализ производительности на ваших серверах хранения.

Не могли бы вы обновить свой вопрос более подробным анализом? Учитывая «терабайт данных», я предполагаю, что вы можете столкнуться с проблемой, когда ваш веб-сервер насыщает, по крайней мере, его собственную сторону сети, и в этом случае единственным решением является получение коммутатора как минимум с 1-2 портами 10 Гбит / с (или картой что позволяет связывать). Даже если отдельные серверы обслуживают не более 1 Гбит, отдельная сторона веб-сервера может быть перегружена.

Сколько происходит обработки? Как muc hdata "выбрасывается" на веб-сервер? Если это много, замените общие ресурсы SMB веб-службами на серверах, которые ПРЕДВАРИТЕЛЬНО ФИЛЬТРУЮТ ДАННЫЕ, чтобы выбросить часть данных на отдельные серверы хранения.

Все зависит от того, что вы с этим ДЕЛАЕТЕ, и вы не даете нам здесь достаточно информации, чтобы сделать больше, чем совершенно необразованные предположения.