Назад | Перейти на главную страницу

Сжатие Fluentd elasticsearch

Я пересылаю журналы с серверов приложений с помощью fluentd (type tail) на сервер elasticsearch. Не понимаю следующего:

Могу ли я включить для уменьшения трафика сжатие передаваемых журналов с помощью type tail или другой тип?

Если вы просто используете <match> из type elasticsearch который отправит данные через http-вызовы.

Альтернативой может быть 2 экземпляра fluentd, один на сервере, где вы следите, а другой на одном узле elasticsearch, и для связи друг с другом через secure-forward плагины ввода / вывода.

Эти плагины позволяют передавать через TCP, зашифрованный с использованием TLS, который также будет сжиматься.

Таким образом вы снимаете нагрузку с сети, и данные на принимающем экземпляре fluentd будут быстро отправлены в elasticsearch, поскольку они находятся на одной машине.