У нас есть выделенный сервер разработки, который запускает только тестовые приложения PHP в общедоступной сети.
У нас есть настройка аутентификации на основе сеанса для сайта.
Проблема заключается в том, что в журнале доступа к robots.txt зарегистрировано много 404-х сообщений.
Итак, мы хотим заблокировать / игнорировать эти запросы на lighttpd, чтобы сэкономить некоторую пропускную способность.
Как добиться этого в lighttpd / 1.4.31?