Я хочу создать подчиненное устройство Redis в AWS (Сидней), которому требуется ~ 20 Мбит / с, чтобы догнать записи главного устройства, расположенного в Германии.
Проблема: у меня всего 8 Мбит / с (1 МБ / с).
Пробовал более крупные типы экземпляров после прочтения Ограничения пропускной способности для Amazon EC2 но все равно без разницы.
Пытался загрузить случайный контент, размещенный в австралии: tadaa, 20 Мбит / с за одну загрузку.
Тогда идея: запустить несколько wgets параллельно на одном хосте в Германии. Tadaa: Каждая загрузка получает 1 МБ / с, а скорость в сумме превышает 150 Мбит / с (не пытался получить больше, но должно было быть возможно).
Как избавиться от ограничения скорости на подключение?
Как упоминалось в комментариях: привязка к вводу-выводу из-за высокой задержки.
Для подчиненных Redis решением является туннель ssh (с включенным сжатием), как описано в этом сообщении в блоге [1]. Из-за сжатия пропускная способность сокращается в 10 раз, поэтому в нашем случае 1 МБ / с было достаточно.
Для загрузки решением является aria2c, клиент загрузки cli, который может открывать до 16 подключений параллельно для больших файлов. Таким образом, вы можете объединить пропускную способность нескольких соединений.
[1] http://tech.3scale.net/2012/07/25/fun-with-redis-replication/