Назад | Перейти на главную страницу

Как скрыть URL-адрес от поиска

Сценарий

Вы фотограф, который создает индивидуальные проекты для клиентов и публикует их на своем сайте. ( http://we-photography.com/projects ).

Все проекты различаются по тематике и содержанию, поэтому их рейтинг варьируется от U (G) к 18 (R).

Все проекты изначально скрыты от посетителей сайта - но общедоступны для всех, у кого есть правильный URL-адрес любого проекта. Это позволяет клиентам направлять определенную аудиторию на страницы, на которых размещены их фотографии.

Эта проблема

Несколько недель назад я произвел случайный поиск старого имени пользователя, которое когда-то использовал, и обнаружил, что оно указано в подписи форума, который я посещал.

Это заставило меня задуматься:

Если я использую NoFollow и NoIndex в проектах, которые имеют рейтинг 18, ​​я теоретически должен защищать определенную аудиторию от доступа к этому материалу.

Однако, если клиент публикует URL своей работы на форуме, в социальной сети или на веб-сайте, потенциально любой, кто выполняет поиск http://we-photography.com/projects найду эту ссылку.

Итак, есть ли решение, чтобы ваш URL-адрес не отображался в списке?

Одним из очевидных решений является использование сайта сокращения, например bit.ly, чтобы создать ссылку для каждого клиента, но - это не гарантия безопасности URL-адреса, поскольку другие посетители могут скопировать полный URL-адрес и указать его где угодно.

В качестве альтернативы я мог бы использовать несколько имен для projects папка: projects/, clients/ : поэтому чистый контент размещается под одним именем, а взрослый - под другим. Это может сработать, но только если они будут искать URL-адрес И подпапку.

Чтобы было ясно:

1. Я хочу, чтобы каждый проект был виден публике. Но не указан на моих основных страницах сайта

2. Я не хочу регистрировать несколько сайтов для содержания специально оцененного контента.

Есть идеи по решению?

У меня аналогичная проблема с бета и лабораторными сайтами нашей компании. Независимо от того, хотим ли мы, чтобы они были доступны только внутренним пользователям или избранным внешним пользователям, мы не хотим, чтобы они индексировались каким-либо Google или другими пауками: некоторые из этих страниц не полностью защищены, и их открытие поисковым системам тоже даст сильно помочь плохим парням.

Я поставил простая защита от пауков и случайные люркеры, но что само по себе не является полной защитой от преднамеренных попыток вторжения (защита, которую я реализую с помощью других инструментов)

Это просто изменение /etc/apache2/apache.conf или необходимых / etc / apache2 / sites-available / files, чтобы они требовали входа / пароля для авторизации. (Также можно сделать с файлом .htaccess в корневом каталоге сайта, ЕСЛИ возможен правильный вариант для AllowOverride в соответствующем файле .conf)

Типичная реализация:

 <Directory /var/www/html/>
         ...

 #protection IP / password
 <RequireAny>
         <RequireAll>
                 AuthUserFile /var/secure/.htaxes
                 AuthName "Are you a subscriber?"
                 AuthType Basic
                 Require valid-user
         </RequireAll>
         Require ip IP1 IP2
         Require ip ::1 127.0.0.1 
 </RequireAny>
 ##protection

 ##      Require all granted

 </Directory>

где необязательная строка Требовать IP IP1 IP2 позволяет вам белый список некоторые IP-адреса (например, некоторые внутренние пользователи).

И где я сохранил авторизованные логины и пароли в файле /var/secure/.htaxes, используя htpasswd

Вы формулируете свой вопрос скорее как проблему использования в частном доме, а не как корпоративную / профессиональную проблему, но в этом случае у вас может быть то же самое.

Как правило, вы используете свой веб-сайт для публикации информации, которую хотите раскрыть и которую хотите найти.

  • Просто не публиковать вещи вы не хотите быть публичным в публичном месте (на вашем сайте или вообще в Интернете).

  • Добавьте ограничения доступа к своему контенту, чтобы он был доступен только авторизованным пользователям (например, защита имени пользователя / пароля).

  • Публикуйте внутреннюю информацию только в своей интрасети, имена хостов для которых не обязательно должны существовать в вашей общедоступной зоне DNS, и тогда любой URL-адрес, случайно опубликованный в Интернете, автоматически не сработает для внешних пользователей.

Чтобы продолжить ваше редактирование
Вы действительно не можете избежать того, чтобы люди публиковали ссылки на ваши сообщения.

Вы можете избежать индексации (некоторых) страниц, мультимедиа и другого контента и их появления в результатах поиска за счет комбинации:

  • публиковать разный контент в разных местах. Отдельные (под) домены, такие как project.example.com или www.example.net вместо использования URL-адреса на вашем основном сайте, например example.com/project может упростить как поисковым системам, так и фильтрам содержимого, и пользователям распознавание, фильтрацию или исключение содержимого конкретного проекта.
  • Большинство пауков и веб-сканеров соблюдают настройки / ограничения, установленные в robots.txt файл в корне вашего (под) домена и не будет включать (в некоторых пределах) контент, который вы запрашиваете для исключения из результатов поиска. Видеть https://support.google.com/webmasters/answer/6062608?hl=en
  • Вы можете добавить элементы управления доступом, которые (пытаются) распознавать веб-сканеры и полностью блокировать их доступ, и ничего не должно индексироваться.
  • Добавьте метаданные на свои html-страницы (например, <meta name="robots" content="noindex,nofollow"> )