Я размещаю несколько репозиториев git на git.nomeata.de, используя gitweb (и gitolite). Иногда появляется паук поисковой машины и начинает работать с интерфейсом. Хотя я обычно хочу, чтобы мои репозитории git отображались в поисковых системах, я не хочу полностью их блокировать. Но они не должны вызывать дорогостоящие операции, такие как создание снимков архива, поиск или генерация различий.
Что лучше" robots.txt файл для такой установки?
Думаю, это хорошая вики сообщества. Расширьте этот robots.txt, если считаете, что его можно улучшить:
User-agent: *
Disallow: /*a=search*
Disallow: /*/search/*
Disallow: /*a=blobdiff*
Disallow: /*/blobdiff/*
Disallow: /*a=commitdiff*
Disallow: /*/commitdiff/*
Disallow: /*a=snapshot*
Disallow: /*/snapshot/*
Disallow: /*a=blame*
Disallow: /*/blame/*