Я ищу рекомендуемые конфигурации для ведения журнала IIS (7.5) для веб-фермы с достаточно высоким трафиком? В настоящее время ежедневно генерирует около 500 МБ несжатых журналов на каждом из 4 веб-серверов.
Ведение журнала ODBC? Для SQL Server кажется много накладных расходов на файлы журнала ... Может быть, для какой-то базы данных с открытым исходным кодом?
Должен ли я просто продолжать использовать файлы журналов и что-то вроде Аналоговый суммировать их по интересным местам?
Что о Splunk? Может ли это быть полезно?
Есть ли рекомендации или военные истории от людей, использующих IIS в более крупных средах, и как вы ведете журнал запросов?
Я использовал AWStats для наших больших ферм, хотя сначала очищаю файлы с помощью LogParser (удаление проверок работоспособности, объединение файлов фермы (не сортировать!), и т.д.). У нас нет такого размера файлов, который есть у вас, но мы определенно находимся в диапазоне 300 МБ, и AWStats работает нормально. Нам не нужно реальное время, поэтому обработка происходит на сервере заданий ночью, а статистика готовится ежедневно. У нас есть статистика примерно по 10 различным сайтам. Если вы хотите перейти к дочерним сайтам, это будет немного беспорядочно, но мы используем AWStats около пяти или шести лет без проблем.
Хотелось бы использовать Google Analytics, но это не подходит для сайтов интрасети (по соображениям безопасности / конфиденциальности).
Я изо всех сил пытался найти хорошую программу для обработки больших файлов журналов. Где-то около того размера, который у вас есть, большинство инструментов начинают выходить из строя.
DeepMetrix LiveStats (более не являющийся активным продуктом) выйдет из строя при таком размере журнала.
SmarterStats (www.smartertools.com) уже близко, и вы можете попробовать. Он будет продолжать обработку журналов, но медленно просматривать отчеты из-за собственной базы данных файловой системы.
Analog может обрабатывать большое количество журналов, и я считаю, что работает для этого размера, хотя я не пробовал его несколько лет.
Даже Urchin не справляется с большими файлами журналов. Он, вероятно, сможет справиться с вашим размером, но в конечном итоге он тоже вырастет.
Log Parser отлично подходит для анализа больших файлов журналов, но вам нужно будет создавать свои собственные отчеты. Я вернулся к настраиваемым отчетам на паре действительно крупных сайтов.
Google Analytics - тоже вариант, который стоит рассмотреть. Это подходящий вариант для ситуаций, подобных вашей.