Я тестирую POC с помощью logstash. При использовании redis для буферизации сообщений кажется, что они остаются в redis и постоянно добавляются в elasticsearch как новые события. Например, если я перезапущу службу, я увижу одно и то же событие много раз при просмотре Kibana.
Если я удалю слой Redis, он будет работать нормально. Кажется, мне что-то не хватает, чтобы очистить запись от Redis, но я не смог понять, что. Вот моя конфигурация logstash:
input.conf
input {
syslog {
type => "syslog-relay"
port => 5514
}
}
output {
redis {
host => "localhost"
data_type => "list"
key => "logstash"
}
}
output.conf
input {
redis {
host => "localhost"
type => "redis-input"
data_type => "list"
key => "logstash"
}
}
output {
elasticsearch {
hosts => "localhost"
}
}