Я рекурсивно получаю динамическое содержимое веб-сайта. К сожалению, файлы доступны по разным динамическим URL. Например, возможно, файл http://foo.bar/bla.php?q=xyz и http://foo.bar/bla.php?q=abc являются именно одинаковы (у них одинаковая контрольная сумма), но загружаются как разные файлы.
Можно ли заставить wget обнаруживать такие вещи и загружать только одну из них?
Плюс: можно ли сделать -k конвертировать ссылки в одну загруженную, даже если страницы относятся ко второй?
Спасибо!