Я пересылаю журналы с серверов приложений с помощью fluentd (type tail
) на сервер elasticsearch. Не понимаю следующего:
Могу ли я включить для уменьшения трафика сжатие передаваемых журналов с помощью type tail
или другой тип?
Если вы просто используете <match>
из type elasticsearch
который отправит данные через http-вызовы.
Альтернативой может быть 2 экземпляра fluentd, один на сервере, где вы следите, а другой на одном узле elasticsearch, и для связи друг с другом через secure-forward
плагины ввода / вывода.
Эти плагины позволяют передавать через TCP, зашифрованный с использованием TLS, который также будет сжиматься.
Таким образом вы снимаете нагрузку с сети, и данные на принимающем экземпляре fluentd будут быстро отправлены в elasticsearch, поскольку они находятся на одной машине.