У меня есть файл размером 9,2 ГБ, который я хочу перенести в свой экземпляр AWS t2.small для резервного копирования. Когда я запускаю scp, он копирует файл со скоростью около 3,4 МБ в секунду, в результате чего ожидаемое время передачи составляет около 45 минут.
Некоторое время спустя экземпляр всегда блокируется. Я больше не могу ничего вводить в окнах терминала, веб-сайты останавливаются (это веб-сервер), и я не могу подключиться к нему. Перезагрузка экземпляра решает проблему.
Я исследовал ограничения EBS: у меня подключено 2 диска RAID10 200 ГБ gp2. Из этого документация Я не вижу, что я превышаю IOPS или пропускную способность для диска. Я также проверил пропускная способность, но не видит там никакой информации об экземплярах t2. Наконец я посмотрел на Кредиты CPU, но предположительно не должно полностью глохнуть?
Это разовая передача, поэтому я хочу понять, насколько мне нужно замедлить передачу, чтобы это произошло безопасно. Заодно хотелось бы получить представление об ограничениях на управление этим веб-сервером.
Если вы хотите выяснить, в чем проблема, вам следует установить мониторинг или вы также можете сделать несколько подключений к системе и запустить такие утилиты, как top, vmstat, iostat, free и т. д. (используйте часы (1) при необходимости), чтобы получить представление о том, что происходит с системными ресурсами. Соберите данные и примените Научный метод - это единственный способ убедиться.
Если вы просто хотите передать файл, попробуйте использовать Трещина чтобы разбить файл на части и передать каждый фрагмент отдельно. затем вы можете использовать cat, чтобы снова собрать куски обратно во весь файл.
Одна из возможностей - это кеш файловой системы. Обычно при копировании больших объемов данных кеш файловой системы может использовать всю доступную память (t2.small имеет только 2 ГБ), что приводит к подкачке, что может привести к зависанию системы. Не уверен, есть ли способ обойти кеш файловой системы с помощью scp.