Как я могу настроить splunk с файлами журнала, расположенными на удаленных серверах unix?
Обычно я вхожу в putty на сервере linux, оттуда я подключаюсь к серверу другой компании, просматриваю каталоги и выполняю свои операции в основном как cat, zcat и т. д. с помощью фильтров grep. Пример:
ssh_server не позволит напрямую войти в систему из putty, мне нужно сначала войти на example_server, а затем на ssh_server.
Как я могу настроить эти файлы журнала для использования splunk для поиска строки, аналогично тому, как я использую grep. Я установил splunk на свой ноутбук и, нажав add data > files и dir > add new он показывает полный путь к полю данных, какой путь мне его заполнить?
1) I can't do any modification to server(have no rights), so i couldn't use splunk universal forwarder
2)There's no way i can open port to write to and make splunk listen to it, as i said my higher-ups won't allow, if something goes wrong, it will cost my job
if there's anyway i can write to port securely ,that might help.
3) I can run shell scripts FYI
4)It will help if anyone suggest how i can securely connect to log servers, download data files(not manually) a python script or .bat file, and will use this local directory in splunk :)
Предполагая, что у вас уже есть экземпляр Splunk, настроенный где-то, существует несколько способов пересылки данных журнала в центральное место.
Прежде всего, самый простой способ - отправить сообщения системного журнала на удаленный сервер журналов. Это применимо только в том случае, если у вас есть необходимые права и разрешения для этого, и есть возможность получить желаемые журналы для записи в системный журнал.
Если у вас есть права на установку, вы можете настроить экземпляр сервера пересылки Splunk на своем удаленном компьютере. Это поддерживается в Linux, Unix и Windows, возможно, больше.
Есть также дополнительные инструменты, которые вы можете использовать для пересылки журналов, включая Эпилог и пересылка системных журналов.
В случае неудачной установки чего-либо на сервере я создал сценарии, которые эффективно отслеживают выходной файл и выгружают результаты в TCP или UDP-соединение, открытое для сервера Splunk.
РЕДАКТИРОВАТЬ - поскольку вы ответили, что у вас нет прав на установку в этот ящик, вы можете посмотреть, как скопировать файлы через SSH и добавить папку назначения для копии в ваш индекс Splunk. Запланируйте выполнение этого задания через cron. Это не идеально - это допускает некоторую фальсификацию перед отправкой ваших журналов, но это функционально.
ИЗМЕНИТЬ - В вашем случае я бы рекомендовал использовать команду nc, если она у вас есть. Это отличный способ избежать мониторинга журналов установки.
tail /your/log/file -f | nc <your.server.ip.addr> <yourport>
В системах Linux и большинстве решений для управления журналами вам просто нужно изменить конфигурацию syslog или rsyslog на сервере Linux, чтобы отправлять все данные на сервер журналов.
sudo vi /etc/syslog.conf . @ X.X.X.X sudo / sbin / перезапуск системного журнала службы
При такой конфигурации все журналы будут отправляться через порт 514 на настроенный вами сервер журналов Splunk. Вам просто нужно убедиться, что вы настроили Splunk, чтобы разрешить входящий трафик. В большинстве случаев это делается путем настройки различных хостов, которые позволяют X IP отправлять трафик на машину.
Другие реализации ведения журнала, такие как OSSEC, позволяют установить агент на машине, поэтому вам не нужно изменять системный журнал.