Назад | Перейти на главную страницу

Может ли парсинг-бот включить JavaScript?

У меня есть несколько тысяч запросов, которые, похоже, исходят от клиента с включенным JavaScript, и мне интересно, может ли этот клиент быть ботом.

Да, бот может делать все, что захочет, с ресурсами, которые он собирает, включая интерпретацию javascript.

Возьмем, к примеру, новую миниатюру Google для отображения страниц в результатах поиска; многие сайты полагаются на javascript для основных функций отображения, поэтому интерпретация js была бы обязательной для этого, чтобы получить предварительные просмотры, близкие к точным.

Самый простой способ узнать это - просто проверить строку пользовательского агента; хорошо воспитанные боты просто скажут вам, что они из себя представляют.