Я просматривал журналы на сервере с несколькими vhosts / учетными записями, пытаясь понять, какие из них нужно удалить, потому что это конец месяца, а автоматическое резервное копирование не удалось (я использую Apache и / или Nginx).
Я понял, что большая часть того, что есть, для меня бессмысленна. Я имею в виду, я, вероятно, должен зарегистрировать это, потому что он не работал, это было бы симптомом проблемы, но записи журнала записей инициированных cPanel запросов к /.well-known/acme-challenge/...
или служба "мониторинга работоспособности", которую я использую, которая проверяет каждые 5 минут, бесполезна для меня в ретроспективе.
Я предполагаю, что настройка cron
задача, которая выполняется sed
в конце дня или что-то могло бы справиться с этим, но я бы не хотел редактировать активный журнал, и все журналы, кроме активного журнала, хранятся в архивах gzip .gz
Я никогда не настраивал вручную cron
работа, но она кажется достаточно простой, но я не знаю, как работать со сжатым архивом.
Sed - это «редактор потока», могу ли я использовать его для фильтрации журналов перед их сжатием ... может быть, правильно, когда это уже не активный журнал, но до того, как он был заархивирован?
Предложения о том, как это сделать, или существующее программное обеспечение, которое это делает?
Меня также довольно раздражает то, что у меня есть несколько журналов для каждого ... похоже, у меня есть 3 журнала доступа для каждого vhost, 1 стандартный журнал, журнал SSL и журнал байтов (?), Поэтому даже их объединение будет улучшение.
Замечу, я реализую Fail2Ban
так что это должно несколько уменьшить объем журналов, но я не хочу понижать уровень журнала слишком низко.
Небольшая помощь?
Сохранение файла журнала - это работа сценариев ротации и очистки, вызывающих logrotate
, tmpwatch
или find
команды. Они предназначены для автоматического предотвращения переполнения хранилища файлов журнала без значительного увеличения объема. Обычно здесь не так много обработки, чтобы сценарии очистки были простыми. Но вы можете удалить некоторые строки при сжатии журналов.
Если существуют URI, которые никогда не должны регистрироваться, веб-сервер может быть настроен так, чтобы никогда не регистрировать их. httpd пример.
Иногда поисковая система помогает сделать количество строк журнала полезным и управляемым для людей. Рассмотрите возможность пересылки журналов в текстовый конвейер, например Graylog или Logstash. Затем извлеките сигнал из шума. Например, поиск ответов HTTP, отличных от 200. Или эту 5-минутную службу мониторинга можно превратить во вторичное предупреждение, если URI проверки работоспособности не доступ за последние 10 минут.