Я постоянно имею дело с довольно большим количеством журналов (которое растет примерно на 1 ГБ в день), и я управляю ими по-старому, сбрасывая журналы до их передачи на центральный сервер, а затем сохраняя их на ленте.
Теперь, поскольку эти журналы могут быть запрошены властями, в какой-то момент я должен их прочитать, найти то, что им нужно, и отправить обратно интересные части [Я нахожусь в италии] ... Как бы то ни было, работать с этим стало довольно сложно, поскольку объем генерируемых журналов продолжает расти, а также мое ленточное хранилище, а отслеживать все стало не так просто, как несколько лет назад.
Я уже пробовал Graylog2, и это, кажется, очень хорошая программа, единственная проблема на моем пути заключается в том, что нет простого способа экспортировать журналы в другое хранилище и импортировать обратно при необходимости (возможно, я неправильно понял как это работает).
Может ли кто-нибудь предоставить мне примеры процесса, который они используют для управления таким количеством журналов, или решение, позволяющее легко экспортировать журналы и импортировать обратно, когда это необходимо?
заранее спасибо
Лично мы используем Graylog2 - наши журналы могут быть не такими большими, как ваши, но это отличный способ хранить журналы и управлять ими.
Что бы я сделал в вашей ситуации, так это то, что Graylog2 использует ElasticSearch для хранения журналов. Настройте Graylog2, чтобы данные оставались активными и доступными для поиска, пока ваши серверы могут это обрабатывать. (Вы можете настроить удаление контента старше X дней.)
Для целей архивирования каждый установленный интервал (то есть ежедневно) запускайте написанный вами сценарий, который экспортирует данные этого интервала в холодное хранилище. Это должно быть так же просто, как простой запрос JSON в ElasticSearch.
Я не уверен, зачем вам его повторно импортировать. Это весь текст, поэтому вы можете искать его по мере необходимости, используя стандартные инструменты (например, grep), или можете написать свой собственный импортер ElasticSearch.