wget каталог индекса удаленного веб-сайта
Можно ли с помощью wget получить весь индекс / родительский каталог? Потому что я пытаюсь перенести изображения на свой VPS со своего старого общего хоста.
Когда я говорю об индексном / родительском каталоге, я имел в виду следующее:
Итак, в основном я хочу, чтобы wget просматривал каждый файл и загружал его, пока все не были загружены.
Ура.
ключ -r (рекурсивный) wget должен работать, -l X указывает глубину прохождения (максимум 5 уровней):
wget -r -l 1 http://domain.com/directory/
источник: http://www.gnu.org/software/wget/manual/wget.html#Recursive-Download
вы упомянули, что есть ftp-доступ, wget действительно поддерживает ftp из коробки:
wget -r -l0 --ftp-user=user --ftp-password=pass ftp://yourdomain.com/dir/*
Предполагая, что у вас нет оболочки, доступа к FTP или какой-либо панели управления, и что это законный запрос, вы можете взглянуть на программное обеспечение для пауков - я обнаружил павук полезно для этого в прошлом.
Не уверен, поддерживает ли wget это или нет, но вы можете использовать сценарий bash, чтобы сделать это довольно легко.
Шаг 1. Скопируйте и вставьте весь текст из «индекса / i» в файл с именем «files» или что-нибудь еще, что имеет смысл на новом хосте.
Шаг 2. На вашем новом компьютере используйте следующую команду для поиска и замены, чтобы создать команды wget для каждого файла, который вам нужно загрузить.
cat files | sed "s/^/wget http:\/\/yoursite.com\/path\//"
Это читает файл с именем "files", а затем передает его в sed, который вставляет "wget http://yoursite.com/path/file1.png"
Например, я запустил его с файлом на моем локальном компьютере. Файл "files" содержит только файлы .png, например:
blah.png
blah1.png
blah2.png
и результат будет выглядеть следующим образом после выполнения указанной выше команды.
wget http://yoursite.com/path/blah.png
wget http://yoursite.com/path/blah1.png
wget http://yoursite.com/path/blah2.png
На этом этапе вы просто копируете и вставляете все wget-файлы, сгенерированные в терминале или из командной строки, он будет загружать каждый файл.