А сценарий шаблона рельсов что я смотрел автоматически добавляет User-Agent: и Dissalow: в robots.txt, тем самым запрещая всем паукам с сайта
Каковы преимущества запрета пауков и зачем вам это нужно?
Пока вы в разработке, возможно, вы не захотите, чтобы поисковые системы индексировали ваш сайт.
Как правило, вы хотели бы запретить паукам в определенных разделах вашего сайта или страниц, которые вы не хотите отображать в результатах поиска, или ничего не предлагать для поисковой системы - например, форму обратной связи, каталоги сценариев, каталоги изображений и т. Д.
Иногда пауки могут попасть на ваш сайт с высокой скоростью, поэтому блокировка определенных поисковых роботов может помочь загрузке сервера, если они открывают медленные страницы.
Вы также можете запретить его, если вы удаляете страницы или каталоги, чтобы он не выдавал 404 в журналах вашего сервера.
Помните, что файл robots.txt является добровольным и ненадежным. Хорошие роботы действительно соответствуют robots.txt, так что это хороший способ контролировать контент в вашей поисковой системе.
Существует заблуждение, что размещение содержания в файле robots.txt повысит вашу безопасность или предотвратит сканирование роботов неэффективных веб-страниц. Однако некоторые плохие роботы игнорируют robots.txt. Если файл robots.txt был случайно удален в течение одной недели, боты могут просканировать ваш сайт и опубликовать результаты в Google / Yahoo / Bing, и вы, возможно, никогда не сможете это очистить. Некоторые вредоносные программы, которые будут специально искать интересные цели в вашем файле robots.txt и нацеливаться на эти запрещенные объекты.