Назад | Перейти на главную страницу

logstash не может загрузить данные в elasticsearch, даже если конвейер запущен

Я использую elasticsearch 7.1.1 и logstash 7.1.1. Я пытаюсь загрузить файл журнала для эластичного поиска с помощью фильтра grok.

Конвейер запускается, но данные не загружаются.

Вот мой файл конфигурации.

input{
    file {
        path => "/home/i-exceed.com/pankaj.kumar/elk/logfiles/bankvisit-dialog-service/bankvisit-dialog-service.10-jun.log"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

filter{
    grok{
        match => { "message" => "\[%{GREEDYDATA:logLabel}\] %{GREEDYDATA:date} %{GREEDYDATA:time} \[%{GREEDYDATA:threadId}\] \[%{GREEDYDATA:transactionId}\]%{GREEDYDATA:message}"}
    }
}


output{

    elasticsearch {
        hosts => "localhost"
        index => "bankvisit"
        document_type => "bankvisitlog"
        }

}

Вот вывод консоли, он продолжает зацикливаться.

[2019-06-14T14:08:02,767][DEBUG][org.logstash.config.ir.CompiledPipeline] Compiled output
 P[output-elasticsearch{"hosts"=>"localhost", "index"=>"bankvisit", "document_type"=>"bankvisitlog"}|[str]pipeline:21:5:
elasticsearch {
        hosts => "localhost"
        index => "bankvisit"
        document_type => "bankvisitlog"
        }
] 
 into 
 org.logstash.config.ir.compiler.ComputeStepSyntaxElement@3a1579c8
[2019-06-14T14:08:02,975][DEBUG][logstash.instrument.periodicpoller.jvm] collector name {:name=>"ParNew"}
[2019-06-14T14:08:02,979][DEBUG][logstash.instrument.periodicpoller.jvm] collector name {:name=>"ConcurrentMarkSweep"}
[2019-06-14T14:08:07,131][DEBUG][org.logstash.execution.PeriodicFlush] Pushing flush onto pipeline.
[2019-06-14T14:08:08,004][DEBUG][logstash.instrument.periodicpoller.jvm] collector name {:name=>"ParNew"}
[2019-06-14T14:08:08,005][DEBUG][logstash.instrument.periodicpoller.jvm] collector name {:name=>"ConcurrentMarkSweep"}

Для sincedb_path вместо того /dev/null, используйте nul как показано ниже (обратите внимание на не замужем 'l' в nul):

sincedb_path => "nul"