web-crawler – список вопросов по тегу – страница №8

Я работаю над такими технологиями, как drupal и solr. Я установил все необходимые модули, но мне нужно знать, как сканировать данные из drupal и как формировать соединитель...

Мне нужно проанализировать сканирование поисковой системы, происходящее на моем сайте. Есть ли для этого хороший инструмент? Я пробовал AWStats и Sawmill. Но оба они дают мне...

Помогите! Сканеры Google заходят на мой сайт, но он не индексируется. Что я делаю не так? Yahoo удалось найти mydomain.appspot.com и успешно проиндексировать (хотя и по адресу...

Недавно я удалил субдомен из своего домена, поэтому мне нужно управлять только одним веб-сайтом. Однако, если я выполню поиск в Google, мой старый домен все еще там, я удалил...

Я использовал инструмент сопоставления сайтов, чтобы получить простой подсчет ссылок под определенным URL-адресом. Бесплатная пробная версия закончилась, поэтому я полагаю, что...