В настоящее время в нашей сети установлен прокси-сервер Squid, средняя школа. Мы отправляем весь трафик со студенческих устройств (iPad) через прокси-сервер как внутри, так и извне. Трафик отправляется на наш брандмауэр, а затем оттуда передается на прокси-сервер. Затем прокси-сервер отправляет трафик через наш интернет-фильтр, который также находится на уровне брандмауэра.
Кажется, что настройка работает нормально для всех веб-сайтов, кроме Google. При поиске в Google я перенаправляюсь на ipv4.google.com, когда нам требуется ввести CAPTCHA для продолжения поиска. Google считает, что при прохождении через прокси-сервер происходит необычная активность.
Есть ли способ обойти это? Есть ли лучший способ сделать наш прокси-сервер, чтобы Google не считал это необычным действием? Другой вариант - запретить пропускать трафик от Google через наш прокси-сервер, но я не знаю, как это сделать.
Любая помощь будет оценена.
Спасибо!
Google переключил весь свой http-трафик на https. Это означает, что запись X-Forwarded-For не может быть изменена прокси-сервером, если только прокси-сервер не выполняет перехват https «Человек посередине» и создает неавторизованный сертификат, утверждающий, что это * .google.com.
Безумие верить, что Google доверяет IP-адресу, указанному в заголовке X-Forwarded-For:, не является ботом. Любой бот-кодировщик может просто запрограммировать своего бота на использование случайного IP-адреса в заголовке X-Forwarded-For, и Google просто поверит, что это не бот.
Вера в то, что Google поверит, что какой-то прокси-сервер, который перехватывает сеанс https и подменяет сертификат ssl / tls, достаточно надежна, чтобы сказать, что они не бот, - безумие.
Кто-нибудь действительно продемонстрировал в 2015 году, что Google Captcha перестает выполняться после перехвата https, вставки заголовка X-Forwarded-For и подделки сертификата ssl / tls?
Google обычно не позволяет использовать прокси-серверы для поиска, так как это может повлиять на их результаты поиска. Я пробовал это несколько раз, но результат был тот же.
Это может быть связано с тем, что прокси могут влиять на позиции в рейтинге SERP (ы) или, может быть, они хотят, чтобы все пришли прямо, не скрываясь.
Как использовать прокси для чего угодно, кроме Google
Если вы захватываете трафик для отправки его через «прозрачный» прокси-сервер, вы можете настроить устройство, выполняющее захват, так, чтобы оно не захватило диапазоны IP-адресов, которые, как известно, принадлежат Google. Тогда эти запросы не будут проходить через прокси.
Если вы больше полагаетесь на сценарий автоматического обнаружения веб-прокси, вы можете обновить сценарий, чтобы учесть имя хоста, прежде чем принимать решение о том, использовать ли прокси-сервер или прямое соединение.
Однако, если все эти запросы в конечном итоге проходят через один NAT, а не через один прокси, Google может никогда не заметить разницы. Он по-прежнему будет видеть все те же запросы, поступающие с одного IP-адреса, что может выглядеть одинаково подозрительно, если выполняется через NAT или прокси.
Возможно, единственный способ получить отдельный IP-адрес для каждого устройства - использовать IPv6. К счастью, Google поддерживает IPv6, поэтому, если вы подключите IPv6 к своей сети, Google сможет определить разницу между запросами от разных устройств.
Другие подходы
В вашей сети может быть одно или несколько устройств, которые наводняют Google оскорбительными запросами. Попробуйте отследить устройства, которые делают большинство запросов в Google, и выяснить, являются ли они законными. Если у вас есть несколько компьютеров, зараженных ботнетами, их очистка может решить проблему.
Вы также можете дважды проверить, отправляет ли ваш прокси всю информацию в Google, что может помочь Google идентифицировать клиентов. Если Google может определить, какие запросы поступают с какого устройства, они могут блокировать только устройства для злоупотреблений, а не все, что проходит через ваш прокси. Для http вы можете гарантировать, что все запросы к Google будут X-Forwarded-For заголовок. Возможно, Google полностью проигнорирует этот заголовок, вы действительно можете узнать, только попробовав.
Если запросы выполнены https ты мало что можешь сделать. Вы не можете помочь Google идентифицировать отдельных клиентов, и вы не можете выяснить, какие запросы выполняются, только их объем. Однако объема запросов может быть достаточно, чтобы определить, есть ли в вашей сети какие-либо недобросовестные устройства.