Я хотел бы просканировать все URL-адреса на моем веб-сайте, а также получить в них файлы, но дело в том, что их слишком много, чтобы сделать это вручную, так как мне это сделать?
Я бы все равно отформатировал его, если в нем есть какой-то порядок.
Например: URL / FOLDER URL / FOLDER / FILE URL / FOLDER / FILE2 URL / FOLDER2 / FILE
Все в файле типа .txt
Как мне это сделать?
Пытаться ls прохождение -R переключатель. В нем перечислены подкаталоги. Вот пример:
ls -R /path/to/whatever > folders.txt