Назад | Перейти на главную страницу

похоже, блокирует / my-beautiful-sef-url-123

У меня есть robots.txt, который выглядит так:

User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php

Очевидной целью было предотвратить индексирование всех уродливых URL-адресов, поскольку все они начинаются с «/index.php».
Но почему-то все URL-адреса вроде / my-beautiful-sef-url-123 перечислены под Ошибки сканирования в Инструментах Google для веб-мастеров с "URL ограничен файлом robots.txt". (Когда я тестирую такой URL, он дает Разрешается как для робота Googlebot, так и для робота Googlebot-Mobile.)

Кто-нибудь может помочь?

URL-адреса похожи на / my-beautiful-sef-url-123 реальные страницы или они делают перенаправление на другую страницу? Если они делают перенаправление, может быть, попробуйте протестировать перенаправленную страницу в Google Webmaster ??