Назад | Перейти на главную страницу

F5 High Speed ​​Logging и Logstash GROK

Я пытаюсь форматировать журналы прямо из нашего F5, используя HSL и Logstash.

Я скопировал пример конфигурации точно с сайта, поскольку он содержит большую часть нужной мне информации. пример logstash

Мой F5 теперь выводит журналы в мой кластер elasticsearch, помечая образцы данных журнала ниже тегом «message:», однако, когда я пытаюсь применить пример фильтра grok, который кажется правильным; в мой файл конфигурации logstash я получаю _grokparseerror.

Кто-нибудь видит, где я ошибаюсь с фильтром?

ОБРАЗЕЦ ЖУРНАЛА

12.123.123.254 [13/Feb/2016:16:04:13 +0000] 123.16.1.23 /SITE/SITE_SSLV2 /SITE/SITE_SSLV2_pool 123.16.1.156 443 '/' 'GET / HTTP/1.1' 200 21003 217 'https://w2.website.co.uk/Planner/Planner' 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.109 Safari/537.36'

ОБРАЗЕЦ ГРОК

%{IP:clientip} \[%{HTTPDATE:timestamp}\] %{IP:virtual_ip} %{DATA:virtual_name} %{DATA:virtual_pool_name} %{DATA:server} %{NUMBER:server_port} \"%{DATA:path}\" \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response:int} %{NUMBER:bytes:int} %{NUMBER:response_ms:int} %{QS:referrer} %{QS:agent}

МОЙ КОНФИГ

filter {
  if [type] == "f5-access" {
    grok {
        match => { "message" => "%{IP:clientip} \[%{HTTPDATE:timestamp}\] %{IP:virtual_ip} %{DATA:virtual_name} %{DATA:virtual_pool_name} %{DATA:server} %{NUMBER:server_port} \"%{DATA:path}\" \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response:int} %{NUMBER:bytes:int} %{NUMBER:response_ms:int} %{QS:referrer} %{QS:agent}"}
}
    geoip {
      source => "clientip"
    }
  }
}