Что вы, ребята, используете для управления размером журнала? Как долго вы храните журналы в архиве? Я понимаю, что это в конечном итоге зависит от трафика сайта и серверного оборудования. У меня есть 4 ГБ оперативной памяти на моем сервере с двумя двухъядерными процессорами 2,0 ГГц под управлением Ubuntu Server. У меня пока нет больших сайтов, работающих на нем, я хочу проработать все эти детали, прежде чем передавать их.
я использую logrotate выполнять ежедневную ротацию (со сжатием для больших журналов) и настраивать, сколько дней я храню, в зависимости от содержимого журналов и того, как долго мне это нужно (и насколько они велики!).
Вы также можете сбросить все свои журналы на центральный сервер Splunk и удалить их. Конечно, тогда это просто вопрос управления использованием диска на сервере Splunk ...
Это зависит от вас - какой метод ротации журналов вы используете на серверах, на которых в настоящее время находятся сайты? Как вы думаете, на какой срок вам понадобятся журналы? Сколько трафика будут принимать сайты? Ресурсы, которые вы разместили, в основном не имеют отношения к делу, ОЗУ / ЦП действительно будут задействованы только во время записи журналов (которые вы не собираетесь изменять), их анализа и сжатия - количество свободного дискового пространства более актуально .
Я бы рекомендовал сжимать их каждый день (например, log.1.gz, log.2.gz и т. Д.) И удалять все, что старше недели.
Я использую что-то вроде Билла, но поскольку я использую бесплатную лицензию, я могу индексировать только 500 МБ в день. Так что для меня плохо все сваливать в splunk. Вместо этого я сохраняю их локально и индексирую по запросу (для устранения неполадок мне нужно в среднем 4-5 журналов)
Сколько журналов у вас в день? А какая возможность в них нуждаться? Если у вас много места, я предлагаю держать журналы несжатыми в течение 2,3 дней, а затем сжать их.
Кроме того, в зависимости от вашего трафика, помимо ежедневного чередования, было бы хорошо чередовать их, если они превышают некоторый порог. Допустим, 500 МБ. Работать с файлом логов размером 5 ГБ практически невозможно.