Мы поставляем клиентам установки Magento и Typo3. Чтобы улучшить QA, мы хотели использовать автоматическую проверку ссылок для автоматической проверки на неработающие и / или устаревшие ссылки. Мы хотим проверить все ссылки, которые остаются в собственном домене, и, возможно, ссылки уходят, но не сканировать внешние домены.
Однако из-за особенностей магазинов количество ссылок может быть немного больше.
До сих пор мы использовали linkchecker (Сценарий Linux) и Xenu (Инструмент Windows GUI):
Я понимаю, что уже просканированные URL-адреса необходимо сохранить, чтобы проверить, совпадает ли новый URL-адрес со старым, и повторная проверка не требуется.
Есть ли инструмент, веб-сайт или любое другое решение, которое может сканировать веб-сайты такого масштаба и предоставлять какой-либо результат (только битые ссылки были бы хороши)?
Дабу, вы пробовали сканировать каталог вашего сайта по каталогам? Если я правильно помню, Xenu предоставляет такую возможность.
Как вариант, вы можете попробовать воспользоваться нашим Поисковый робот Site Visualizer для вашей задачи. Я не уверен, сможет ли он просканировать все 1,4 миллиона ссылок, поскольку мы не пробовали его на таких больших сайтах. Это также позволяет сканировать только определенные каталоги.
Загрузите пробную версию и установите ее, затем создайте новый проект и снимите отметку следующие варианты Ползать вкладка для увеличения скорости и минимизации занятых ресурсов:
Вы также можете определить определенный каталог (или каталоги) для сканирования Включить URL вариант проекта. Например, вы можете сканировать только свой каталог QA, поскольку он содержит большинство неработающих ссылок. в Включить URL введите диалоговое окно «/ QA /» (без кавычек) и нажмите «ОК».
Неработающие ссылки после завершения сканирования, дважды щелкните Ответы клиента об ошибках (4xx) отчет о Отчеты вкладка Визуализатор сайта главное окно.
Пробная версия приложения является полнофункциональной, поэтому вы можете использовать ее в течение 30 дней бесплатно.