Мне нужно загрузить 100 ГБ файлов (примерно 150 файлов) в течение 7 дней до истечения срока их действия. Скорость загрузки ограничена хостом, поэтому она занимает НАМНОГО больше времени, чем теоретическая скорость передачи при нормальной скорости Интернета. У меня есть сценарий завитка http://curl.haxx.se/docs/manpage.html команды - по одной строке на файл.
У меня была идея автоматически запускать n экземпляров EC2, выполнять команду и передавать файлы по FTP в центральное место, а затем выключать машины. Как бы я это сделал?
Мне все равно, Linux это или Windows.
Я бы рекомендовал использовать один из AMI Canonical в сочетании с cloud-init.
https://help.ubuntu.com/community/CloudInit
Найдите раздел «Сценарии пользовательских данных», где вы можете использовать --user-data-file для автоматического запуска сценария при запуске. Таким образом, вы можете просто поместить все команды, которые хотите запустить, в скрипт и поставить «shutdown -h now» в конце скрипта.
Я использовал бото писать такие вещи раньше. Проще всего развернуть образы Linux, а затем использовать ssh, чтобы они работали.
Не уверен в лучшем решении. Но если вы делаете это на регулярной основе и вам нужно что-то для автоматического запуска и остановки ваших машин, тогда вы можете взглянуть на этот продукт: http://LabSlice.com (с оговоркой, что я технический директор).
Бродяга с Провайдер AWS делает это легко и является многоплатформенным.
Однажды Vagrantfile создается, затем вы запускаете экземпляр с vagrant up, войдите в него с помощью vagrant ssh, и уничтожить его vagrant destroy. Супер-просто.