У меня журнал в следующем формате, это простой json с вложенными полями.
{
"level": "info",
"message": {
"req": {
"headers": {
"host": "localhost:8080",
"connection": "keep-alive",
"x-forwarded-for": "192.168.1.1, 1.1.1.1",
"x-forwarded-proto": "http"
},
"url": "/products?userId=493d0aec-a9a7-42a3",
"method": "GET",
"originalUrl": "/products?userId=493d0aec-a9a7-42a3",
"params": {
"0": "/products"
},
"query": {
"userId": "493d0aec-a9a7-42a3"
},
"body": ""
},
"res": {
"headers": {
"traceid": "ac586e4e924048",
"x-correlation-id": "57d7920d-b623-48f8",
"content-type": "application/json;charset=UTF-8",
"content-length": "2",
"date": "Fri, 08 Mar 2019 09:55:45 GMT",
"connection": "close"
},
"statusCode": 200,
"body": "[]"
},
"gateway": "internal"
},
"correlationId": "57d7920d-b623-48f8",
"timestamp": "2019-03-08T09:55:45.833Z"
}
Как я могу правильно разобрать его с помощью Filebeat и Logstash, чтобы увидеть все поля json в Kibana как отдельные (проанализированные) поля? У меня проблема с полем «сообщение», в котором есть вложенные поля json. У меня нет проблем с анализом события, в котором есть строка в «сообщении», но не json.
Мои попытки:
1. Я пытался сообщить Filebeat, что это json со следующей конфигурацией: (и ничего не делает на стороне LS)
filebeat.inputs:
- type: stdin
json.keys_under_root: true
json.add_error_key: true
Результат для меня странный, потому что я получил «сообщение» в виде строки в Кибане, где все: заменены на =>
{
"req" => {
"originalUrl" => "/offers", "params" => {
"0" => "/offers"
}, "query" => {}, "body" => "", "headers" => {
"accept-encoding" => "gzip", "user-agent" => "okhttp/3.8.1", "x-consumer-id" => "f2a6e4cd-2224-4535 .....
Другие поля за пределами "сообщения" анализируются правильно
2. Я ничего не делал на стороне Filebeat и использовал фильтр в LS:
json {
source => "message"
target => "message_json"
}
В Kibana логи вообще не отображаются, в LS были следующие ошибки:
[2019-03-08T09: 55: 47084] [ПРЕДУПРЕЖДЕНИЕ] [logstash.outputs.elasticsearch] Не удалось проиндексировать событие в Elasticsearch. {: status => 400,: action => ["index", {: _id => nil,: _index => "filebeat-6.5.0-2019.03.08-sdx",: _type => "doc",: routing => nil}, #],: response => {"index" => {"_ index" => "filebeat-6.5.0-2019.03.08-sdx", "_type" => "doc", "id "=>" ERS6XGkBgE-US7A6Mvt "," status "=> 400," error "=> {" type "=>" mapper_parsing_exception "," reason "=>" не удалось проанализировать поле [json.message] типа [ключевое слово ] "," made_by "=> {" type "=>" незаконное_статическое_ исключение "," cause "=>" Не удается получить текст на START_OBJECT в 1: 461 "}}}}} [2019-03-08T09: 55 : 47085] [ПРЕДУПРЕЖДЕНИЕ] [logstash.outputs.elasticsearch] Не удалось проиндексировать событие в Elasticsearch. {: status => 400,: action => ["index", {: _id => nil,: _index => "filebeat-6.5.0-2019.03.08-sdx",: _type => "doc",: routing => nil}, #],: response => {"index" => {"_ index" => "filebeat-6.5.0-2019.03.08-sdx", "_type" => "doc", "id "=>" EhS6XGkBgE-US7A6Mvt "," status "=> 400," error "=> {" type "=>" mapper_parsing_exception "," reason "=>" не удалось проанализировать поле [json.message] типа [ключевое слово ] ", "hibited_by" => {"type" => "незаконное_статическое_ исключение", "reason" => "Не удается получить текст в START_OBJECT по адресу 1: 461"}}}}}
Этот фильтр отлично подходит для меня, если поле «сообщение» является строкой (не json).
Есть идеи, как разобрать вложенный json в «поле сообщения»?