web-crawler – список вопросов по тегу – страница №7

Как лучше всего запретить поисковым роботам кэшировать страницу "проверка javascript"? С гуглом проблем нет, но Бинг вроде кеширует. Все, что требуется от бота - это...

Вот вам странный. У нас есть сервер с несколькими VHOSTS, которые включают в себя домены как SSL, так и без SSL. В Domain1 включен SSL, а в Domain2 - нет. Поскольку все эти...

Я недавно вошел в vps, который у меня есть (с vultr, если это вас беспокоит). Чтобы найти большое количество журналов nginx и среднюю нагрузку выше ожидаемой. Этот сервер...

В журналах моего сайта появляются некоторые ошибки, когда некоторые боты пытаются получить доступ к URL-адресам со странными параметрами GET. # normal url...

В моем журнале Nginx недавно я заметил 100 таких записей, в которых поиск в каталоге выполнялся с ошибкой, потому что этот каталог не существует на моем веб-сервере. теперь...

Моему доменному имени назначены адреса IPv4 и IPv6. Соединение IPv4 с Google не может быть доступно все время из-за ограничений моей сети кампуса, но IPv6 доступен постоянно...

У меня есть защищенный сайт SSO, который использует аутентификацию Shibboleth и провайдер идентификации SAML. Мне нужно разрешить поисковому роботу Google Search Appliance...

Мы поставляем клиентам установки Magento и Typo3. Чтобы улучшить QA, мы хотели использовать автоматическую проверку ссылок для автоматической проверки на неработающие и / или...

Что ж, я в тупике. Несколько месяцев назад мы запустили совершенно новый веб-сайт, заменив устаревшую систему, которая была довольно беспорядочной. Частично эта неразбериха...

Я смотрел DRKSpider, чтобы найти проблемы с веб-сайтом на нашем производственном сервере, но, похоже, его функция экспорта генерирует разные результаты (с разным контентом)...