На прошлой неделе я использовал wget для рекурсивной загрузки целого веб-сайта html-страниц. Я использовал это так:
wget --recursive --no-clobber --page-requisites --html-extension --convert-links --domains XXXX.com --no-parent http://www.XXXX.com
проблема в том, что загрузка занимала пару дней, иногда были таймауты подключения, отключения сети и т. д., и, хотя это происходило, похоже, что wget пропустил htmls, которые он не мог получить, что в данном случае нехорошо.
Интересно, есть ли флаг (безрезультатно просматривающий справочную страницу ...), чтобы сообщить wget, чтобы он продолжал повторять неудачные выборки до бесконечности? (даже если мой компьютер отключится от Интернета на 10 часов, я хочу, чтобы он продолжал попытки получить страницу до тех пор, пока это не удастся (очевидно, когда компьютер снова будет в сети).
Спасибо,
Я полагаю, что это вариант, о котором вы просите:
-t number
--tries=number
Set number of retries to number. Specify 0 or inf for infinite retrying.
The default is to retry 20 times, with the exception of fatal errors
like "connection refused" or "not found" (404), which are not retried.