В настоящее время я имею дело со старым веб-сайтом, на котором существуют политические проблемы, препятствующие переносу базы данных или изменению дизайна сайта.
Поскольку я не могу получить доступ к базе данных, я в основном хочу написать некоторый Javascript для загрузки всех данных с этого веб-сайта путем простого анализа возвращенного HTML. Это было бы легко, если бы каждая страница данных была фактическим URL-адресом, но это не так. Каждая страница создается динамически через ASP, поэтому мне нужно как-то проанализировать формат возвращаемой страницы и сохранить данные.
Мне также нужно иметь дело с вставкой файлов cookie сеанса в сценарий, чтобы веб-сайт считал меня действительным зарегистрированным пользователем.
Есть идеи, как сделать эту задачу проще?
Посмотри на фантомы : Он может выполнять большую часть работы по сканированию веб-страниц за вас.
Вы можете использовать программу для загрузки сайтов, их много, тем не менее, если вы используете базу данных, она потеряет все функциональные возможности, и у вас не будет всех функций в ней. Весь javascript может быть загружен из-за того, что на стороне клиента вы можете загрузить программу, но если у вас есть что-то конкретное на стороне сервера с asp, я сомневаюсь, что вы сможете.