Назад | Перейти на главную страницу

Выкройка Logstash Grok

Прежде всего, я прошу прощения за это, я довольно плохо разбираюсь в регулярных выражениях и пытаюсь написать собственный шаблон (так как я не могу найти что-то в существующем шаблоне grok или, возможно, мне что-то не хватает) для анализа журналов svn, которые находятся в формат 

r24|prashant|2015-02-26 12:38:04 -0800 (Thu, 26 Feb 2015)|33|Log: ABC-123 / Initial version||A   test/log_testing1 A   test/log_testing2 A   test/log_testing3 A   test/log_testing4 A   test/log_testing5 \n

Так что это в формате 

$REVISION:$USER ID:$DATE:$CHECKED IN MESSAGE:$FILE CHECKED IN

Итак, я написал нестандартный шаблон

SVN [r0-9]
SVN_TIMESTAMP %{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?  (%{DAY}, %{MONTHDAY} %{MONTH} %{YEAR})

и мой logstash-conf будет выглядеть так для раздела фильтра

filter {
  grok {
  match => { "message" => "%{SVN:revision}|%{USERNAME:username}|%{SVN_TIMESTAMP:svntimestamp}|%{GREEDYDATA:syslog_message}||%{GREEDYDATA:syslog_message" }
}

}

Я не уверен, что это правильно, но, как обычно, это не работает. Любая помощь очень ценится

Вот более простая версия шаблона, которая может помочь вам начать работу:

(?<SVN>[0-9]+)\|%{USERNAME:username}\|(?<SVN_TIMESTAMP>[^\|]+)\|%{GREEDYDATA:syslog_message}

Для простоты я не использовал именованные шаблоны, а временная метка не очень конкретна, но это должно быть легче исправить.

Важно отметить:

  • символ вертикальной черты в этих выражениях является логическим ИЛИ, его нужно экранировать
  • как указал @tigran: вам нужен символ плюса для "одной или нескольких" цифр в версии SVN
  • ваш шаблон SVN_TIMESTAMP очень сложен, но кажется не совсем правильным. Как минимум вам нужно избегать круглых скобок для соответствия.

Я рекомендовал вам взять ваш вклад и мой образец и вставить его в https://grokdebug.herokuapp.com/ - это позволит вам постепенно улучшать его до того, что вам действительно нужно.