Рекомендуется ли отключить curl и wget, чтобы запретить кому-либо доступ к моим веб-сайтам с помощью этих команд?
Или это необходимо некоторым поисковым системам для доступа к моим сайтам?
Каковы ваши рекомендации относительно curl и wget?
Как все отметили, сделать это практически невозможно, и попытки ничего не дадут. Не трать время зря. Вы только навредите себе, пытаясь ограничить методы доступа.
Если ваша цель - распространять контент, добро пожаловать в Интернет. Если это не так, сражение - проигрышная битва. Если у вас есть контент по подписке, подумайте о правильных методах, включая аутентификацию пользователя.
Редактировать: Поскольку спрашивающий здесь повторил, что речь идет о «проблемах безопасности», я подумал, что было бы полезно объяснить части.
Инструменты wget и curl это всего лишь инструменты для просмотра вашего контента. Они используют те же протоколы, что и обычные браузеры, просто у них разные интерфейсы для пользователя. На самом деле существуют десятки, даже сотни различных инструментов, которые люди используют для извлечения контента из Интернета. Ваша задача как администратора сервера - управлять тем, что происходит НА ВАШЕМ СЕРВЕРЕ и его программном обеспечении, а не управлять жизнью ваших потребителей контента.
Представьте себя художником, рисующим картину. Ваша задача - получить правильное изображение, а не ограничивать своих зрителей, говоря, что никому в очках не разрешается смотреть ваши картины. Это просто бессмысленно.
Использование curl или wget не вызывает проблем с безопасностью. Мне кажется, вы дезинформированы.
Вся цель веб-браузера (будь то IE, Firefox, Chrome, Safari, Webkit и т. Д.) - загрузить и представить содержимое веб-страниц с http-сервера. curl и wget предназначены для загрузки файлов с http-сервера. Это главное различие; инструменты командной строки просто не отображают вашу страницу графически ...)
Как говорили другие, вы можете заблокировать с помощью userAgent, но это проигрышная битва ... На самом деле это ничего не решит.
Единственный способ заблокировать конкретный HTTP-клиент - идентифицировать его по строке агента, которую он предоставляет в заголовках HTTP-запроса, и, поскольку это легко подделать, в этом нет особого смысла - любой, кто хочет использовать wget или curl для очистки данных с вашего сайта сделает это, предоставив другую строку агента (возможно, указав ему имитировать Internet Explorer).
Зависит от того, что вы хотите сделать и почему - вы можете реализовать бан на основе пользовательского агента, это самый простой способ, но он не остановит определенный «скребок», но тогда мало что будет.
Может случиться так, что принудительная проверка рефереров также поможет достичь того, чего вы хотите.
Google определенно не очищает с помощью юзерагента curl-ush или wget-ish, так что это не должно влиять на это.
Какой веб-сервер вы используете? Почему вы пытаетесь этого добиться? Эти ответы помогут нам помочь вам :)
на всякий случай, когда кто-то сталкивается с этим, я видел, что curl эффективно используется в хаках, чтобы получить доступ к данным, имеющим базовую слабость (например, эксплойты, связанные с php), в то время как плакаты выше верны, что wget и curl можно рассматривать обычные функции, зачем так упростить использование данных? Очистка сайта по-прежнему является проблемой, но еще хуже, когда эти функции можно использовать для обхода настроек или доступа к приложениям в папках по умолчанию (конечно, все равно не следует помещать вещи в папки по умолчанию, но это не останавливает кучу дураков, не только при этом оставив имена пользователей и пароли по умолчанию.) Вы можете ограничить их, установив флаги или используя файл .htaccess в Apache. Чтобы перейти к сути, такие вещи, как libcurl, можно использовать сами по себе - лично я хотел бы убедиться, что ваша система исправлена и обновлена, в первую очередь, гарантируя, что каталоги и пароли не по умолчанию, а затем посмотрите на ограничение запуска определенных агентов, если применимо (но, как сказали gWaldo и DSpillett, их можно легко подделать, и есть тысячи других способов доступа к данным)
отключите curl, я думаю, он не сможет читать ваш сайт поисковыми системами, такими как google ... потому что curl функционирует для чтения, просмотра и получения контента. исправь это если не так