я бы хотел создать общедоступный сайт Google Apps (т.е. пользователям не нужно проходить аутентификацию для доступа к контенту) при сохранении политика исключения сканеров и ботов с помощью Robots.txt. Кто-нибудь знает как это сделать?
robots.txt не препятствует использованию сайта интерактивными браузерами. Он используется только роботами, такими как сканеры, программы чтения каналов, инструменты рекурсивной загрузки (хотя последние позволяют пользователю переопределить его).