Я пытался запустить и запустить новый централизованный сервер журналов для тестирования и столкнулся с некоторыми проблемами.
Первая часть заключается в том, что я установил Kibana, но не могу ничего проиндексировать, пробовал большинство собственных средств устранения неполадок Kibanas. Кажется, что он не будет читать удаленные файлы журналов, даже не может индексировать стандартные журналы как сообщения, аудит и так далее. Какие-нибудь хорошие указатели на то, что я делаю неправильно? Также пробовал ELSA на другом сервере, и там та же проблема. Такое ощущение, что Elastisearch не работает ни с какими журналами, отправленными или на диске.
Есть ли хороший способ использовать старые журналы и попробовать эти серверы поиск и индексация?
Вторая часть. Есть ли у кого-нибудь хороший указатель на то, как вы должны тестировать серверы журналов и как обрабатывать журналы из многих различных устройств, таких как межсетевые экраны, коммутаторы, маршрутизаторы, Windows и Linux-машины. Я сосредоточился в основном на rsyslog. Подходит ли для этого syslog-ng? или я должен попробовать что-то совершенно другое?
Сейчас я использую виртуальные машины с Centoos и Ubuntu-сервером. И фортигат как средство создания журналов, также имеет старые журналы tar'ed с сервера prod linux, на котором запущена база данных SQL. Еще не начали с crontab и хотели бы сначала запустить диспетчер журналов. Итак, я вижу, что могу выполнять индивидуальный поиск, а что нет. Также думал о том, чтобы иметь хранилище в другой системе. Какие проблемы это может вызвать у меня?
Полное раскрытие информации: я основатель LogZilla.
Вы можете дать LogZilla попытка. Просто скачайте виртуальную машину и закажите пробную лицензию на сайте. Eval - это (практически) неограниченная лицензия на 30 дней, и, как только вы начнете отправлять журналы на нее, у нее есть «биржевой тикер», который запускается в правом верхнем углу главной страницы - это мгновенно даст вам входящие Скорость событий в секунду (EPS), чтобы вы могли оценить свои потребности. После того, как этот сервер проработает около 24 часов, вы можете cd в каталог сценариев и запустить:
./LZTool -v -r ss
И он проведет анализ, чтобы предсказать будущие потребности в определении размера сервера (ожидаемый диск и память). Последняя версия LogZilla может обрабатывать более 1 млрд событий в день, и для запроса этих данных требуется всего около 5 секунд. Вы также можете импортировать старые журналы, используя скрипт, включенный в источник, расположенный в scripts / contrib / syslog2logzilla.
Кроме того, LogZilla бесплатна для 1 миллиона событий в день.
Сколько журналов у вас в день?
Если меньше 500 МБ, вы увидите splunk. Это довольно крутой инструмент, который позволяет легко индексировать журналы и создавать графики / корреляции. Конечно, стоит попробовать. Кроме того, splunk индексирует каждое поле отдельно, поэтому по умолчанию используется обработка разных форматов.
По крайней мере, в моем случае мы используем rsyslog для Linux-машин и Snare для Windows. Все они собираются в кластер машин, а затем обрабатываются splunk.
В противном случае, если вы хотите использовать кластер вместо одной машины, вы можете использовать corosync, pacemaker и glusterfs для синхронизации между ними (а затем любое приложение, которое вы хотите поверх этого для визуализации)