У меня есть несколько серверов CoreOS на Amazon AWS, и я хотел бы собирать с них события или журналы и пересылать их своему поставщику стека ELK logz.io.
Будучи немного новичком в стеке ELK, я немного не понимаю, как лучше всего извлечь данные. Мне было предложено использовать filebeat. Но filebeat работает с обычными файлами журналов, и большая часть данных в настоящее время загружается в journald.
Все мои службы работают в докере, и я вижу, что у этого докера есть идея ведения журнала драйверов. Могу я как-нибудь подключиться к этому?
Есть проект под названием journalbeat, который выглядит многообещающим, но незавершенным и на данный момент все пересылает. Мне просто нужны конкретные юниты и конкретные события. Так что мне, возможно, придется поработать над этим проектом, чтобы он делал то, что мне нужно. Но, прежде чем я пойду дальше, есть ли другой способ?
например еще одна легкая служба, которую я мог запустить на машине, которая могла бы принимать события регистрации и пересылать их. Пока это не logstash, потому что это будет потреблять слишком много ресурсов в моих экземплярах aws, уже ограниченных памятью и процессором.
Конечно, я не единственный, кто сталкивается с подобными проблемами.
Существует драйвер журнала Docker для gelf и плагин ввода для Logstash, который понимает формат gelf. Это, наверное, самый простой способ.