У меня проблема: когда googlebot заходит на страницы веб-сайта, где находится форма входа, он выявляет ошибку с сайта («недоступен» в инструментах для веб-мастеров).
Это ошибка N500
Когда googlebot посещает страницы без формы входа - он получает ok (статус 200)
Когда я захожу на страницу сайта через браузеры - на всех страницах (с формами входа и с ней) все нормально.
Моя система:
У меня только одна версия ASP.NET
Web.config (часть):
<anonymousIdentification enabled="true" />
<authentication mode="Forms">
<forms
cookieless="UseCookies"
defaultUrl="Default.aspx"
loginUrl="~/AccessDenied.aspx"
name="GSFORMAUTH"
protection="All"
slidingExpiration="true"
timeout="44000">
</forms>
</authentication>
Журнал отслеживания неудачных запросов (часть):
<failedRequest url="http://mysite.com:80/"
siteId="1"
appPoolId="ASP.NET v4.0"
processId="2956"
verb="GET"
remoteUserName=""
userName=""
tokenUserName="IIS APPPOOL\ASP.NET v4.0"
authenticationType="anonymous"
activityId="{00000000-0000-0000-5700-0080000000F5}"
failureReason="STATUS_CODE"
statusCode="200"
triggerStatusCode="500"
timeTaken="4172"
xmlns:freb="http://schemas.microsoft.com/win/2006/06/iis/freb"
>
Что вызвало эту проблему?
Спасибо за помощь, Алекс.
На форумах Google для веб-мастеров есть немного информации об этом. По сути, есть плагин Firefox, который позволит вам посещать веб-сайт, КАК ЕСЛИ бы вы были роботом Google. Вы будете видеть это (ошибки и все такое) так же, как Googlebot. Это должно помочь вам понять, что он видит.
http://groups.google.com/group/Google_Webmaster_Help-Indexing/browse_thread/thread/f8ba10ba010b6039 - Сообщение на форуме
https://addons.mozilla.org/en-US/firefox/addon/user-agent-switcher/ - Ссылка на плагин Firefox
Короче говоря, поисковый робот не является браузером и будет видеть вашу страницу иначе, чем стандартный браузер. Вы можете использовать указанный выше плагин для переключения вашего браузера в разные режимы пользовательского агента, а именно в Googlebot.