На моем веб-сайте у меня есть «скрытая» страница, на которой отображается список последних посетителей. На эту единственную страницу PHP вообще нет ссылок, и теоретически только я знаю о ее существовании. Я проверяю его много раз в день, чтобы узнать, какие у меня новые хиты.
Однако примерно раз в неделю я получаю обращение с адреса 208.80.194. * На этой предположительно скрытой странице (он записывает обращения к себе). Странно вот что: этот загадочный человек / бот делает не посещение любой другая страница на моем сайте. Не публичные страницы PHP, но только эта скрытая страница, которая печатает посетителей. Это всегда одно попадание, а HTTP_REFERER пуст. Остальные данные всегда представляют собой вариации
Mozilla / 4.0 (совместимый; MSIE 7.0; Windows NT 5.1; YPC 3.2.0; FunWebProducts; .NET CLR 1.1.4322; SpamBlockerUtility 4.8.4; yplus 5.1.04b)
... но иногда MSIE 6.0 вместо 7 и различные другие плагины. Браузер каждый раз разный, как и в случае с младшими битами адреса.
И это просто так. Одно обращение в неделю или около того на эту страницу. Этот загадочный посетитель не тронул абсолютно никаких других страниц.
Делая whois на том IP-адресе было указано, что он из Нью-Йорка и от интернет-провайдера "Websense". Младшие 8 бит адреса различаются, но они всегда из 208.80.194.0/ 24 подсеть.
С большинства компьютеров, которые я использую для доступа к своему веб-сайту, выполняя traceroute на моем сервере нигде нет роутера с IP 208.80. *. Думаю, это исключает любой вид HTTP-сниффинга.
Как и почему это происходит? Это кажется совершенно безобидным, но необъяснимым и немного жутким.
Websense? Websense занимается классификацией URL-адресов и поиском «непослушных» вещей в Интернете. Их продукты обычно появляются в корпоративной среде.
Держу пари, что вы получили доступ на секретную странице HTTP от компании, которая имеет установленный Websense, и они автоматически добавляются страницы к их (предположительно Гаргантю) списку страниц Troll проверки порно, варез, форумы и т.д.
Что касается меняющегося заголовка, я предполагаю, что у их робота есть всевозможные баннеры на выбор, и он намеренно изменяет их, чтобы замаскировать себя от анализа и сделать вид, что это не бот. Фактически, быстрое Поиск Google FunWebProducts websense почти подтверждает теорию.
Диапазон IP-адресов принадлежит Websense. У вас может быть запущен один из их продуктов.
$ whois 208.80.194.0
[Querying whois.arin.net]
[whois.arin.net]
NetRange: 208.80.192.0 - 208.80.199.255
CIDR: 208.80.192.0/21
OriginAS: AS13448
NetName: WEBSENSE-NET2
NetHandle: NET-208-80-192-0-1
Parent: NET-208-0-0-0-0
NetType: Direct Assignment
RegDate: 2007-07-25
Updated: 2012-03-02
Ref: http://whois.arin.net/rest/net/NET-208-80-192-0-1