Назад | Перейти на главную страницу

Быстрая и безопасная загрузка с Amazon EC2 / RDS / S3?

Я периодически загружаю дампы базы данных с помощью gzip из моей установки AWS (примерно 150 МБ).

Хотя нормальная скорость загрузки http / https (через службу файлов Apache) составляет >> 300 кб / сек, когда я использую scp для загрузки дампа, я получаю только скорость около 30-50 кб / сек.

В чем причина того, что он такой медленный?

Как я могу намного быстрее безопасно загружать файлы дампа базы данных?

Спасибо!

Попробуйте изменить cipher_spec для сеанса scp с -c blowfish-cbc (или шифры в вашем .ssh/config file). Это немного облегчит нагрузку на шифрование.

В моей локальной сети я заметил увеличение скорости с ~ 28 МБ / с до ~ 35 МБ / с.

Почему бы не использовать gpg локально для шифрования дампов самому себе? Затем вы можете передавать их через HTTP или FTP, или размещать их в usenet, или делать что угодно, не подвергая опасности вашу безопасность (ну, вы, вероятно, не должны размещать их в alt.binaries).

Я делаю это с резервными копиями моего цветного бокса, а затем могу с радостью хранить их в онлайн-хранилище моего коло, не подвергая себя опасности. Моему окрашенному ящику тоже не нужен мой закрытый ключ - только открытый для шифрования. Если возникнет необходимость, расшифрую дома.

Если вы это сделаете, не забудьте отключить ASCII-броню для gpg, иначе ваш резервный файл станет на 30% больше, чем должен быть.

У меня была аналогичная проблема, и в конце концов она оказалась из-за того, что мой интернет-провайдер ограничивал (или иным образом вмешивался) трафик на нестандартных портах. Они явно думают, что все, чего нет на портах 25/80/443 и т. Д., Является совместным использованием файлов и намеренно замедляет его.

Я предлагаю вам попробовать переключить ISP или сначала вы также можете попробовать настроить sshd для прослушивания порта 443 (при условии, что у вас нет веб-сервера с SSL на этом компьютере) и попробуйте этот способ.

Поскольку вы уже используете apache, почему бы не создать отдельный VirtualHost, самозаверяющий сертификат и добавить базовую аутентификацию в каталог, в котором расположены дампы базы данных? Это должно позволить вам быстрее безопасно загружать файлы дампа базы данных. Возможно, это обходной путь, но он должен достичь цели. Две полезные ссылки:

http://www.akadia.com/services/ssh_test_certificate.html

http://httpd.apache.org/docs/2.2/howto/auth.html