Назад | Перейти на главную страницу

Поведение файлов роботов

Я сегодня заметил кое-что странное.

если я пойду в http://www.google.com/robots.txt, IE11 показывает мне содержимое файла робота Google. Однако, если я перейду на свой сайт (все еще в разработке), используя тот же браузер, и укажу его на robots.txt, IE спросит, хочу ли я открыть или сохранить его на диск, и если я нажму «Открыть», он откроется в блокноте, а не в браузер, как у Google.

Есть ли разница в том, как поступать, как это делает Google (очевидно, есть разница в способе обслуживания файла, так каковы плюсы и минусы любого метода)? И как им это удается? Я предполагаю, что AddType / AddHandler как-то связаны с этим, но я не могу понять, как это сделать.

Вот что дает мне скрипач для файла robots.txt моего сайта:

HTTP/1.1 200 OK
Date: Thu, 02 Apr 2015 17:16:06 GMT
Server: Apache/2.4.9 (Win64) PHP/5.5.12
X-Powered-By: PHP/5.5.12
Content-Disposition: attachment; filename="robots.txt"
Content-Length: 33
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/plain

User-agent: *
Disallow: /images/

На "моем сайте" файл предлагается для скачивания из-за заголовок размещения содержимого:

Content-Disposition: attachment; filename="robots.txt"

Чтобы не загрузите файл, но вместо этого отобразите его в браузере - все, что требуется, - это удалить этот заголовок.

На самом деле не имеет значения, обслуживается ли файл с этим заголовком или без него, поскольку целевая аудитория (веб-специалисты / боты / не люди, использующие браузер) почти наверняка его игнорирует.