Если у меня есть URL-адрес, который используется для получения сообщений, и я создаю его так: http://www.mydomain.com/somelonghash123456etcetc и этот URL-адрес позволяет другим службам отправлять сообщения POST. Может ли его найти робот поисковой системы? Я не хочу, чтобы он был в моем robots.txt, потому что он уже будет открыт для всех, кто увидит файл robots.
Конечно, я добавлю в приложение другую аутентификацию, но первым шагом является отсутствие того, чтобы кто-нибудь обнаружил этот URL.
Какие-нибудь общие методы?
Если ваша аутентификация работает, нет причин скрывать URL-адрес. Я лучше сосредоточусь на этом.
Поисковые системы не могут найти его, если он нигде не связан (так как это единственный способ поиска другой информации). Чтобы гарантировать, что поисковая система не найдет его через robots.txt и сохранит секретность, используйте двойной хеш:
http://example.com/asdfghjk/12345678
Ваш robots.txt запрещает все, что ниже asdfghjk:
User-agent: *
Disallow: /asdfghjk/
Но любой, кто не знает полного пути, все равно не сможет получить вторую часть URL-адреса, просмотрев его.
вы можете ввести что-то идентифицируемое, например / secretpage [hash] 123456etcetc, а затем grep журналы apache, которые являются автоматическим скриптом, который блокирует доступ, если один ip пытается получить доступ к URL-адресу секретной страницы слишком часто.
На самом деле миадемора верна. Обеспечьте безопасность своей аутентификации (2 фактора?) И откажитесь от безопасности неизвестностью.