У меня есть URL-адрес, который я не хочу индексировать:
http://www.mysite.com/moduleA?param=secretkey
Поэтому, когда я искал "mysite.com" в Google, я не хотел, чтобы указанная выше ссылка появлялась в результатах поиска.
Однако следующие URL-адреса являются общедоступными:
www.mysite.com/moduleA
www.mysite.com/moduleA?id=12345
www.mysite.com/moduleA/somepage.html
Это можно сделать? Можно ли для этого использовать файл robots?
Вот несколько вещей, которые вы можете сделать:
Однако в конечном итоге ничего секретного не должно попадать прямо в такой URL-адрес - не все веб-сканеры подчиняются этим инструкциям роботов, а некоторые (спам-боты и т. Д.) Специально ищут их и просматривают.