У меня есть такие ссылки, как:
Как я могу скачать все файлы и каталоги с помощью wget?
HTTP на самом деле не раскрывает файловую систему, поэтому wget обычно не может просто получить весь каталог и т.д. Он может работать только с ресурсами, о которых он знает. Он попытается захватить каждый URL-адрес, href или src соответствующих элементов на странице / сайте, на которые вы указываете, но если файлы не связаны со страницей, wget даже не знает о них, поэтому не будет пытаться их достать.
Перевод: если вы хотите получить все это, сделайте ссылку где-нибудь на странице / сайте. Или используйте FTP, который гораздо лучше подходит для работы.
Если у вас есть список URL-адресов в файле с именем links.txt:
for url in $(cat links.txt); do wget $url; done
С aria2:
aria2c -i links.txt
Если у вас есть html-файл с большим количеством href и других тегов ..., вы можете использовать regexp, чтобы проанализировать их и, наконец, получить чистый список.