Filebeat (11.11.11.11) не могу подключиться к logstash (22.22.22.22) на другом сервере (connection reset by peer). Но сервисы filebeat с других серверов могут это сделать.
Как и я жестяная банка подключиться с этого сервера (11.11.11.11) с помощью телнет в этот порт (telnet 22.22.22.22 5044).
я могу видеть "failed":34816,"total":34816 в журналах filebeat:
root@stage /var/log/filebeat # tail filebeat
2018-05-09T08:30:48.298Z INFO [monitoring] log/log.go:124 Non-zero metrics in the last 30s {"monitoring": {"metrics": {"beat":{"cpu":{"system":{"ticks":2390,"time":2392},"total":{"ticks":539690,"time":539696,"value":539690},"user":{"ticks":537300,"time":537304}},"info":{"ephemeral_id":"e0b9a5bb-4446-4ee1-a6f4-e2b0ccfb1677","uptime":{"ms":2340029}},"memstats":{"gc_next":205064832,"memory_alloc":146205312,"memory_total":29895393656}},"filebeat":{"harvester":{"open_files":39,"running":48}},"libbeat":{"config":{"module":{"running":0}},"output":{"events":{"batches":17,"failed":34816,"total":34816},"write":{"bytes":17029928,"errors":17}},"pipeline":{"clients":3,"events":{"active":4119,"retry":69632}}},"registrar":{"states":{"current":139}},"system":{"load":{"1":0.24,"15":0.43,"5":0.31,"norm":{"1":0.03,"15":0.0538,"5":0.0388}}}}}}
2018-05-09T08:30:48.391Z ERROR pipeline/output.go:92 Failed to publish events: write tcp 11.11.11.11:34626->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:49.943Z ERROR logstash/async.go:235 Failed to publish events caused by: write tcp 11.11.11.11:34632->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:50.943Z ERROR pipeline/output.go:92 Failed to publish events: write tcp 11.11.11.11:34632->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:51.383Z ERROR logstash/async.go:235 Failed to publish events caused by: write tcp 11.11.11.11:34634->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:52.383Z ERROR pipeline/output.go:92 Failed to publish events: write tcp 11.11.11.11:34634->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:53.942Z ERROR logstash/async.go:235 Failed to publish events caused by: write tcp 11.11.11.11:34636->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:54.942Z ERROR pipeline/output.go:92 Failed to publish events: write tcp 11.11.11.11:34636->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:55.407Z ERROR logstash/async.go:235 Failed to publish events caused by: write tcp 11.11.11.11:34654->22.22.22.22:5044: write: connection reset by peer
2018-05-09T08:30:56.407Z ERROR pipeline/output.go:92 Failed to publish events: write tcp 11.11.11.11:34654->22.22.22.22:5044: write: connection reset by peer
filebeat - это уже самая новая версия (6.2.4).
logstash - это уже самая новая версия (1: 6.2.4-1).
Как ее решить или исследовать?
Обновить:
Если я отключу logstash, ошибка изменится:
ERROR pipeline/output.go:74 Failed to connect:
dial tcp 22.22.22.22:5044: getsockopt: connection refused
не уверен в этом, но наверняка вы можете включить отладку для получения дополнительной информации:
https://www.elastic.co/guide/en/beats/filebeat/current/enable-filebeat-debugging.html
Я бы также проверил конфигурации logstash и filebeat:
Logstash:
в этом случае принимает и должен иметь конфигурацию ввода, подобную приведенной ниже
input {
beats {
port => "5044"
ssl => false
}
}
убедитесь, что служба logstash имеет разрешение на открытие прослушивающего сокета на машине. проверьте это с помощью
netstat -l
Filebeat:
проверьте, указывает ли filebeat на правильный порт logstash
output:
logstash:
hosts: ["22.22.22.22:5044"]