Примерно через два месяца пакет программного обеспечения (~ 20 МБ, .tar.gz), который мы размещаем на AWS, загружается ~ 600 раз в день кем-то, использующим фиктивную строку UA из заголовка. Реферер HTTP настроен на допустимую страницу, содержащую ссылку на эту загрузку.
Мне еще предстоит провести более подробный анализ, но кажется, что IP-адрес всегда из Китая, и запись обратного просмотра не настроена. И что интересно, соединение неизменно закрывается примерно через ~ 1 МБ.
Все это составляет несколько десятков гигабайт трафика в месяц - небольшая сумма в общей схеме вещей, очевидно, но все же достаточно, чтобы я задался вопросом, что может происходить, если предположить, что мы не единственные, кто "прополз" этот бот.
Вы когда-нибудь видели что-то подобное в своих системах? Идея, что за бот может здесь злиться?
Windows 2000? Я бы просто забанил и забыл об этом. В любом случае, никто больше не работает с Windows 2000. (Хотя я уверен, что многие из нас знают, что один все еще где-то работает ...)
Эта строка принадлежит Thunder Downloader (он же Xunlei), китайский менеджер закачек.
Одна из многочисленных неприятных вещей, которые он делает, - это то, что он предоставляет прямую ссылку для загрузки на ресурсы.
Например, Анна заходит на вашу страницу и скачивает justin-bieber-baby.mp4 с Xunlei. Xunlei сохраняет URL-адрес файла и хеш-значение на своем сервере.
На следующий день Бетти скачивает B~A~B~Y.mp4 с другого сайта, использующего Xunlei, Xunlei также сохраняет URL-адрес файла и значение хэша. Теперь Сюньлей знает, что эти два файла идентичны.
На третий день, когда Кэти загрузит B~A~B~Y.mp4 с этого сайта Xunlei также загружает часть этого файла с вашего сайта (используя ваш сайт в качестве ускорителя).
Это означает, что Кэти не посещает ваш сайт, но вам придется предоставить ей пропускную способность.
Представьте себе популярный файл (~ 100 МБ), который миллионы людей* 1 хочу скачать. Это может стоить вам ~ 100 ГБ полосы пропускания, но принесет вам только одного посетителя.
Так что имхо лучше заблокировать этот пользовательский агент.
* 1: К 2012 году у Xunlei будет ~ 400 миллионов пользователей.