У нас есть веб-сайт, на котором ежемесячно создается около 100 ГБ файлов журнала IIS. Мы хотели бы получать статистику из этих журналов, например, наиболее посещаемые URL-адреса, аутентифицированные пользователи с наибольшим количеством запросов и т. Д. Нам также нужны некоторые базовые функции детализации, например, чтобы увидеть, к каким URL-адресам пользователи обращаются чаще всего.
Мы протестировали несколько разных инструментов для этого, но не нашли того, который не вызывает проблем с производительностью. Например, мы попробовали SmarterStats и предоставили ему 500 ГБ журналов, но он работал со 100% загрузкой ЦП в течение нескольких дней, а через несколько дней служба вышла из строя. Я знаю о Microsoft Log Parser, но то, что я ищу, - это инструмент для создания простых для понимания графиков, который позволяет мне детализировать.
Есть ли какой-нибудь инструмент для этого, который может обрабатывать терабайты файлов журнала?
Я использовал анализатор журналов IIS, после чего журналы можно отправлять в MSSQL с помощью SSIS, а из БД можно создавать все виды графиков.
Первоначально, чтобы отсортировать журналы и подготовить их для парсера журналов, я использовал Power Shell, который их упорядочивает, с 7zip для их передачи между серверами.