Как заставить Аналог парсить логи только за одну неделю?

Чувак, я подумал об этом после публикации. Возможно, это поможет немного больше, поскольку большинство ссылок на "Вот как Боб сделал свой конфиг, и вот как Джерри сделал его здесь, что приятно и все и тд »уже не действуют.

В надежде, что это поможет вам немного больше, вот мой файл analog.cfg:

"#" Ниже БЫЛО производство и стало тестом.
"#"
"#" ЛОГФАЙЛ C: \ WINDOWS \ system32 \ LogFiles \ W3SVC1 \ ex% y% M% D. *
"#"
"#" Это сработало, но за раз давали только один файл журнала.
"#"
"#" Ниже приведен тест.
"#"
"#" ЛОГФАЙЛ C: \ WINDOWS \ system32 \ LogFiles \ W3SVC1 * .log
"#"
"#" Вышеупомянутое сработало, потому что мы хотим проанализировать ВСЕ файлы журнала,
«#» последовательно. Пока придерживаюсь этого.
"#"

"#"
«#» В этой строке записывается, сколько времени потребовалось для создания отчетов.
"#"

ВРЕМЯ РАБОТЫ ВКЛ.

"#"
"#" Эта строка повторно устанавливает файл журнала на местное время. Потребовалось время, чтобы
"#" тоже вычислим.
"#"

LOGTIMEOFFSET -360
ЛОГФАЙЛ C: \ WINDOWS \ system32 \ LogFiles \ W3SVC1 * .log

"#"
"#" Эта строка указывает "аналогу" записывать вывод в "читаемый компьютером"
Формат "#" для использования reportmagic. Если бы мы не использовали это, мы бы
"#" указывает ему выводить его в формате html для человека или в удобочитаемом для браузера
Формат "#".
"#"

ВЫХОДНОЙ КОМПЬЮТЕР

"#"
"#" Эта строка указывает аналогу, ГДЕ выводить вывод.
"#"

АУТФАЙЛ D: \ inetpub \ wwwroot \ stats \ report.dat

"#"
"#" Эти линии сообщают аналогу, куда идут графики.
"#"

LOCALCHARTDIR "D: \ inetpub \ wwwroot \ stats \ charts \% Y.% M."
CHARTDIR "графики /% Y.% M."

"#"
"#" Эти строки задают красивый текст в html
"#"

HOSTNAME "[Интранет моей компании]"
HOSTURL http: // mycompany_intranet

"#"
"#" Эти строки сообщают аналогу, как разрешить его имена хостов. Мы
"#" нужно поработать с некоторыми из них, потому что файл "dnscache.txt"
"#" просто продолжает расти по мере этого, и в результате мы получаем
«#» для обслуживания. Мне не удалось решить эту проблему
"#" НЕПОСРЕДСТВЕННО из сети, но уверен, что это возможно
. "#"

ЗАПИСЬ в DNS
DNSFILE dnscache.txt
DNSLOCKFILE dnslock.txt
DNSGOODHOURS 8

"#"
"#" Вот несколько предустановленных опций перед загрузкой модуля, которые нам нужно установить в самом начале.
"#" Они похожи на те, что указаны выше, но вы можете рассматривать их как мета-теги или мета-переменные.
"#"

REQLINKINCLUDE страницы
ПЕРЕСЫЛКАЙТЕ ВКЛЮЧИТЬ *
REDIRREFLINKINCLUDE *
FAILREFLINKINCLUDE *
ПОДБРАЗЬ /
ПОДТИП .gz,.Z

"#" Добавьте любой из этих типов страниц на вашем сервере или другие.

PAGEINCLUDE * .shtml
PAGEINCLUDE * .html
PAGEINCLUDE * .asp
PAGEINCLUDE * .jsp
PAGEINCLUDE * .js
PAGEINCLUDE * .cfm
PAGEINCLUDE * .css
PAGEINCLUDE * .pl
PAGEINCLUDE * .php
PAGEINCLUDE * .swf

TYPEALIAS .html ".html [язык гипертекстовой разметки]"
TYPEALIAS .htm ".htm [язык гипертекстовой разметки]"
TYPEALIAS .shtml ".shtml [HTML-код, проанализированный сервером]"
TYPEALIAS .ps ".ps [PostScript]"
TYPEALIAS .gz ".gz [файлы, сжатые Gzip]"
TYPEALIAS .tar.gz ".tar.gz [сжатые архивы]"
TYPEALIAS .jpg ".jpg [графика JPEG]"
TYPEALIAS .jpeg ".jpeg [графика JPEG]"
TYPEALIAS .gif ".gif [графика GIF]"
TYPEALIAS .png ".png [графика PNG]"
TYPEALIAS .txt ".txt [простой текст]"
TYPEALIAS .cgi ".cgi [скрипты CGI]"
TYPEALIAS .pl ".pl [скрипты Perl]"
TYPEALIAS .css ".css [каскадные таблицы стилей]"
TYPEALIAS .class ".class [файлы классов Java]"
TYPEALIAS .pdf ".pdf [формат переносимого документа Adobe]"
TYPEALIAS .zip ".zip [Zip-архивы]"
TYPEALIAS .hqx ".hqx [файлы Macintosh BinHex]"
TYPEALIAS .exe ".exe [Исполняемые файлы]"
TYPEALIAS .wav ".wav [звуковые файлы WAV]"
TYPEALIAS .avi ".avi [фильмы AVI]"
TYPEALIAS .arc ".arc [сжатые архивы]"
TYPEALIAS .mid ".mid [звуковые файлы MIDI]"
TYPEALIAS .mp3 ".mp3 [звуковые файлы MP3]"
TYPEALIAS .doc ".doc [документ Microsoft Word]"
TYPEALIAS .rtf ".rtf [Rich Text Format]"
TYPEALIAS .mov ".mov [фильм Quick Time]"
TYPEALIAS .mpg ".mpg [фильм MPEG]"
TYPEALIAS .mpeg ".mpeg [фильм MPEG]"
TYPEALIAS .asp ".asp [активные серверные страницы]"
TYPEALIAS .jsp ".jsp [страницы сервера Java]"
TYPEALIAS .cfm ".cfm [Холодный синтез]"
TYPEALIAS .php ".php [PHP]"
TYPEALIAS .js ".js [код JavaScript]"

"#" x = Общие
"#" 1 = Годовой Q = Квартальный m = Месячный W = Еженедельный D = Ежедневный d = DailySum
"#" H = ежечасно h = HourlySum w = HoursOfWeek 4 = 15minly 6 = 15minlySum 5 = 5minly
"#" 7 = 5minlySum
"#" o = Домен Z = Организация. S = Хост s = RefSite f = ReferrerURL
"#" n = SearchWord N = SearchQuery B = Браузер b = BrowserSum p = OS
"#" i = Реж. r = Файл t = Тип файла z = Размер файла c = Статус
"#" I = Ошибка L = FailHost K = FailRef E = Redir l = RedirHost k = RedirRef
"#" v = VHost R = RedirVHost M = FailVHost u = Пользователь j = RedirUser J = FailUser
"#" y = IntSearchWord Y = IntSearchQuery P = ProcTime

НЕДЕЛЯ НАЧАЛО ПОНЕДЕЛЬНИКА
МАРКЧАР +
REPSEPCHAR нет
КОМПСЕП ""
RAWBYTES ВЫКЛ.
BYTESDP 2
НОРОБОТОВ НА
ПОИСКПРЕОБРАЗОВАТЬ
БАРСТИЛЬ i
PNG ИЗОБРАЖЕНИЯ
HTMLPAGEWIDTH 65
ASCIIPAGEWIDTH 76
MINGRAPHWIDTH 15
ВСЕХАРТ ВКЛ
ALLGRAPH P


"#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "# "" # "" # "" # "" # "" # "" # "" # "" # "" # "" # "" # "
"#" ОТЧЕТЫ ОБ ОБСЛУЖИВАНИИ - КАК МЫ ДОСТАВЛЯЕМ СТРАНИЦЫ "#"
"#" "#"
«#» Статус - были ли страницы доставлены нормально или не удалось «#»
«#» Proctime - время отправки файлов «#»
«#» Ошибка - люди запрашивают эти страницы, а она не удалась «#»
"#" Failhost, Failref - сбои возникли из-за ссылок на этих хостах, на этих URL-адресах "#"
"#" Redir - люди запрашивали эти файлы, но были перенаправлены "#"
"#" Redirhost, redirref - перенаправления возникли из ссылок на этих хостах и ​​URL-адресов "#"
"#" "#"
"#" COLS, CHART, SORTBY, FLOOR, SUB, ARGS, LINKINCLUDE - как указано выше "#"
«#» 304ISSUCCESS - 304 Not Modified означает, что пользователь видел кэшированную копию: т.е. успешно! "#"
"#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "#" "# "" # "" # "" # "" # "" # "" # "" # "" # "" # "" # "" # "

ОТЧЕТНЫЙ ЗАКАЗ x1QmWDdHwh4657oZSlLujJkKfsNnBbpvRMcPztiEIYyr

ДОМЕН НА
DOMCHART ON
DOMCOLS PQ
СТРАНИЦЫ ДОМСОРТБИ
ДОМФЛ-500p
ПОДДОМЕН ...
ПОДДОМСОРТ НА СТРАНИЦАХ
ПОДДОН 1.5% p

КАТАЛОГ НА
DIRCHART ON
DIRCOLS PQc
"#"
"#" Исключая все каталоги "local" и "images" согласно веб-команде.
"#" запрос.
"#"
DIREXCLUDE * / местный
DIREXCLUDE /изображений
"#"
DIRSORTBY PAGES7
ПОДКЛАДКА ПО СТРАНИЦАМ7
ПОКРЫТИЕ 0q
ПОДПОЛЬНЫЙ ЭТАЖ 0q
ПОДДЕРЖКА /////

FILETYPE ON
TYPECHART ON
TYPECOLS Rb
ТИПЕСОРТ ПО БАЙТАМ
ПОДТИП .gz,.Z

РАЗМЕР
РАЗМЕР
РАЗМЕРЫ ScR

ОРГАНИЗАЦИЯ НА
ORGCHART ON
ОРГКОЛЫ Pb
ORGSORTBY СТРАНИЦЫ
ORGFLOOR -500p
SUBORGSORTBY PAGES
SUBORG ....com
SUBORGFLOOR 25,0% p

ПРИНИМАЮЩИЙ НА
HOSTCHART ON
Больницы Pb
HOSTSORTBY СТРАНИЦЫ
HOSTFLOOR -500p

БРАУЗЕР НА
ПРОСМОТРЕТЬ
BROWREPCOLS Rb
ПРОСМОТРЕТЬ ПО ЗАПРОСАМ
БРАУРЕПФЛОР -400р

ПРОСМОТР НА
ПРОСМОТРЕТЬ
BROWSUMCOLS PQq
ПРОСМОТРЕТЬ СТРАНИЦЫ7
BROWSUMFLOOR -200q
ПОДБРАЗЬ ///
СПОРТ ПО СТРАНИЦАМ7
ПОДБРАЙН-400 кв.

СТАТУС ВКЛЮЧЕН
СТАТУСХАРТА ВКЛ.
СТАТУСКОЛЫ R
STATUSSORTBY ALPHABETICAL
STATUSFLOOR -200р
304 УСПЕХ

OSREP ON
ОСЧАРТ НА
ОСКАРТЭКСПАНД Windows
OSCOLS PQq
OSSORTBY PAGES7
OSFLOOR -200q
ДОПОЛНИТЕЛЬНЫЕ СТРАНИЦЫ7
ПОДПОЛ-500кв.

ПРОКТИМ НА
PROCTIMECOLS R
PROCTIMECHART ON

ПОЛЬЗОВАТЕЛЬ ВКЛЮЧЕН
USERCOLS Rb
КАРТА ПОЛЬЗОВАТЕЛЯ ВКЛЮЧЕНА
ПОЛЬЗОВАТЕЛЬСКИЕ ЗАПРОСЫ
ПОЛЬЗОВАТЕЛЬСКИЙ ПОЛ -500р

ЗАПРОС НА
REQCHART ON
REQCOLS RSc
ЗАПРОСЫ ПО ЗАПРОСАМ7
REQFLOOR 0,5% s
ЗАПРОСИТЬ ПО ЗАПРОСАМ7
REQARGSFLOOR 0,5% s
REQEXCLUDE *
REQINCLUDE * .html
REQINCLUDE * .htm
REQINCLUDE * .zip
REQINCLUDE * .gz
REQINCLUDE * .Z
REQINCLUDE .pdf
REQLINKEXCLUDE / cgi-bin /
REQLINKEXCLUDE / scripts / *
REQLINKINCLUDE *
REQLINKINCLUDE * .zip
REQLINKINCLUDE * .pdf

ОТКАЗ ВКЛЮЧЕН
FAILCHART ON
FAILCOLS RS
ОТКАЗЫ ПО ЗАПРОСАМ7
FAILFLOOR -300s
FAILARGSSORTBY REQUESTS7
FAILARGSFLOOR 10 сек.
FAILLINKEXCLUDE *

НЕИСПРАВНОСТЬ НА
НЕИСПРАВНОСТЬ ВКЛЮЧЕНА
ПРОБЛЕМЫ RS
ОТКАЗ ОТ ЗАПРОСОВ7
FAILHOSTFLOOR -500s

ОТКАЗ ВКЛЮЧЕН
FAILUSERCOLS R
КАРТА ОТКАЗОВ ВКЛЮЧЕНА
ОТКАЗ ОТ ЗАПРОСОВ
FAILUSERFLOOR -400р

FAILREF ON
FAILREFCHART ON
FAILREFCOLS RS
ОТКАЗ ОТ ЗАПРОСОВ7
FAILREFFLOOR -300s
FAILREFARGSSORTBY REQUESTS7
FAILREFARGSFLOOR 10 с
FAILREFLINKINCLUDE *

РЕДИР НА
ПОВТОРНЫЙ КАРТ
REDIRCOLS SR
РЕДАКТИРОВАНИЕ ПО ЗАПРОСАМ7
REDIRFLOOR -300s
ПЕРЕНАГРУЗКА ПО ЗАПРОСАМ7
REDIRARGSFLOOR 500s

REDIRHOST ON
REDIRHOSTCHART ON
REDIRHOSTCOLS SR
REDIRHOSTSORTBY REQUESTS7
REDIRHOSTFLOOR -500 сек.

REDIRREF ВКЛ.
ПОВТОРНЫЙ КАРТА ВКЛЮЧЕН
REDIRREFCOLS RS
ПОВТОРНАЯ ОТЧЕТА ПО ЗАПРОСАМ7
REDIRREFFLOOR -300s
REDIRREFARGSSORTBY REQUESTS7
REDIRREFARGSFLOOR 500s
REDIRREFLINKINCLUDE *

ОБРАТИТЬСЯ НА
REFSITECHART ON
REFSITECOLS PQ
ССЫЛКИ НА СТРАНИЦЫ7
REFSITEFLOOR -500q
REFDIRSORTBY PAGES7
REFDIRFLOOR 50,5% q

НАЗНАЧЕНИЕ
ПЕРЕСМОТР НА
REFCOLS PQ
СООБЩЕНИЯ 7
ПЕРЕСЫЛКАЙТЕ ВКЛЮЧИТЬ *
REFFLOOR -500q
ССЫЛКИ НА СТРАНИЦЫ7
REFARGSFLOOR 50,5% q

VHOST ON
VHOSTCHART ON
VHOSTCOLS Rb
VHOSTFLOOR -200b
VHOSTSORTBY BYTES

REDIRVHOST ВКЛЮЧЕН
REDIRVHOSTCHART ON
REDIRVHOSTCOLS R
REDIRVHOSTFLOOR -200р
REDIRVHOSTSORTBY ЗАПРОСЫ

РЕДАКТОР ВКЛ.
REDIRUSERCOLS R
РЕДАКТОР КАРТА ВКЛЮЧЕН
ПОВТОРНЫЙ ИСПОЛЬЗОВАНИЕ ПО ЗАПРОСАМ
РЕДИРУСЕРПОЛ -200р

ПОИСК СЛОВА
ПОИСК СЛОВА
SEARCHWORDCOLS PQq
ПОИСК СЛОВА ПО СТРАНИЦАМ7
ПОИСК СЛОВА 1,5% q

ПОИСК ПО
ПОИСККАРТА ВКЛ.
ПОИСКОВОЙ ЗАПРОС Q
ПОИСКОВЫЙ ЗАПРОС ПО СТРАНИЦАМ7
ПОИСКЗАПРОС-500кв.

ПОИСК ПО
INTSEARCHQUERYCOLS R
INTSEARCHQUERYCHART ВКЛ.
INTSEARCHQUERYFLOOR -300р
INTSEARCHQUERYSORTBY REQUESTS

ПОИСК НА
INTSEARCHWORDCOLS R
INTSEARCHWORDCHART ON
INTSEARCHWORDFLOOR -400р
ПОИСК СЛОВА ПО ЗАПРОСАМ

Опять же, надеюсь, это тоже поможет, и удачи, приятель!

Я только начал использовать аналоговую и репортажную магию ..

Я взял это из руководства в документации:

Вы также можете включить дату в имя LOGFILE, используя следующие коды.

% D число месяца
% m название месяца на английском языке
% M номер месяца
% y двузначный год
% Y четырехзначный год
% H час
% n минута
% w день недели на английском языке

Так, например,
LOGFILE access_log% Y% M.log

будет искать файл журнала access_log200109.log, если это сентябрь 2001 года. Используемая дата фактически является датой TO, если она была указана, а в противном случае - временем запуска программы. Так, например, вы можете просмотреть все файлы журнала за последний месяц с помощью команд

Это должно немного помочь в точной настройке какие файлы журналов, которые вы хотите проанализировать. Кроме того, есть соответствующая запись, в которой подробно описаны даты «ДО» и «ОТ»:

К этой категории относится еще одна пара команд, а именно команды FROM> и TO. Они определяют период времени, которым нужно ограничить анализ. Простейшее использование этих команд - FROM yyMMdd или FROM yyMMdd: hhmm, где yy представляет последние> двух цифр года (аналог предполагает, что год находится между 1970 и 2069), MM представляет месяц, dd - это дата, чч час и мм минута. Так, например, чтобы> анализировать только запросы с 1 июля 1999 г. до 13:00 15 июня 2000 г., я бы использовал конфигурацию

С 990701
КОО 000615: 1300

В качестве альтернативы, каждому из компонентов может предшествовать знак + или - для обозначения времени относительно времени, в которое была запущена программа. В этом случае дата может содержать более 2 цифр. Это позволяет конструкции типа

ОТ -01-00 + 01 # с завтрашнего дня прошлого года
TO -00-0131 # до конца прошлого месяца (ОК, даже если в прошлом месяце не было 31 дня)
С -00-00-112
ТО -00-00-01 # статистика за последние 16 недель
FROM -00-00-00: -06 + 01 # статистика за последние 6 часов

В командной строке есть сокращения + F и + T для команд FROM и TO; например, + T-00-00-01: 1800 просматривает статистику до 18:00 вчерашнего дня. -F и -T выключают from и to, как и FROM OFF и TO OFF.

С ними вы, вероятно, сможете получить то, что вам нужно. Рискну предположить, что ваш ответ находится в записях «ОТ» и «ДО» .cfg.

В качестве еще одной альтернативы вы всегда можете пропустить перечисленные выше и просто написать пакетный сценарий, который будет перемещать / архивировать или удалять файлы журнала за предыдущую неделю -out_ из расположения по умолчанию «\ LogFiles \ W3SVC1», например, что-то вроде «D: \ IIS-Logfiles-Archive »и затем запустить аналоговый анализатор на день. Вот какой псевдокод, который может помочь вам начать работу и двигаться в правильном направлении:

(и опять же, это PSEUDO-код. Грубый, некрасивый и сидит как мокрый шерстяной свитер. Удалять каталог, наверное, не нужно, но я копаюсь из другого скрипта, который использую, мммка? :)

net stop all_your_webservices_here
компакт-диск C: \ WINDOWS \ system32 \ LogFiles \ W3SVC1
del / f / q .
CDC:\
rd / s / q C: \ WINDOWS \ system32 \ LogFiles \ W3SVC1
mkdir C: \ WINDOWS \ system32 \ LogFiles \ W3SVC1
net start all_your_webservices_here
"C: \ Program Files \ analog 6.0 \ analog.exe" && rmagic

Извините, этот последний кусок есть, если у вас также установлен и запущен reportmagic. Если вы этого не сделаете, я НАСТОЯТЕЛЬНО рекомендую это. Делает аналог красиво, впечатляет менеджмент. Ммм, Мммм хорошо. Как суп или что-то в этом роде. :)

При этом я собираюсь предположить, что вы хотите ограничить анализ неделей, потому что аналогу требуется целая вечность для анализа ваших журналов. (Это совершенно случайное предположение и окрашено моим мнением, потому что я вроде как видел то же самое при первоначальной настройке :)

Имейте в виду, что как только вы проанализируете набор файлов журналов (скажем, на несколько дней или на неделю), это может занять некоторое время, однако повторный запуск аналога для проверки любых следующих файлов журналов чрезвычайно быстрый. Подвести итоги; создайте запланированную задачу для аналогового запуска один раз в день, и хотя начальный запуск займет некоторое время, каждый последующий запуск будет намного быстрее, чем первый.

HTH, приятель ...

Для индивидуального анализа файлов журнала есть хороший сценарий, опубликованный на http://www.biterscripting.com/SS_WebLogParser.html . Он написан для журналов веб-сервера, но вы можете использовать его в качестве отправной точки для написания собственного анализатора журналов для журналов любого типа.

Патрик