Назад | Перейти на главную страницу

Мысли о размерах файлов журнала Apache?

Вы устанавливаете какие-либо ограничения на размер файлов журнала Apache - access.log и error.log?

В частности, можете ли вы дать:

Прежде чем что-либо делать, я бы хотел узнать мнение опытных системных администраторов.

(Отмечено как вики сообщества, так как это может быть вопросом мнения.)

Вам следует подойти к этому с другой стороны, вместо того, чтобы ограничивать эти файлы журналов, разработать систему, в которой всегда достаточно места для журналов, чтобы они никогда не могли заполнить диск.

Мой основной способ сделать это - просто подсчитать, сколько места, вероятно, потребуется, и дать ему много места, но у меня также есть сценарий, который проверяет дисковое пространство в каталоге журналов, и если он становится тесным, автоматически вращайте файлы журналов, сжимайте старые версии и удаляйте те, которые достаточно старые, чтобы они оказались на архивных носителях.

Ну, основные причины не ограничения размеров журнала:

  • предоставляет полезный журнал аудита
  • предоставляет подробный журнал доступа
  • служит базой данных для будущего анализа:
    • другие рефералы веб-сайтов
    • внутренний путь навигации
    • внутренний журнал случайно выбранного контента
    • полезно для отладки ошибок, с которыми медленно сообщается

Основная причина ограничения размера журнала - не перегружать дисковое пространство. Но это довольно неудачно - диски на 1,5 ТБ сейчас стоят около 120 долларов.

Я бы рекомендовал подумать о ротации журналов, адаптированной к размеру вашего файла журнала. Если у вас есть чрезвычайно загруженный веб-сайт, генерирующий большое количество записей журнала, чередуйте его в зависимости от размера файла, который достаточно мал для эффективной работы в текстовом редакторе или с тем, с чем вы просматриваете журналы, и сохраняйте журналы достаточно маленькими для сжатия и отправки другим для дополнительных целей устранения неполадок. Если вы создаете небольшое количество записей в журнале, личное предпочтение - чередовать их на ежедневной основе, чтобы я мог легко оттачивать ошибки. Кроме того, при ежедневной ротации я вижу скачки использования и ошибки в зависимости от размера файлов.

Хранение журналов должно определяться личными потребностями, потребностями статистического анализа или корпоративными стандартами / правилами. Если вы хотите анализировать журналы и искать шаблоны использования, статистику или в целях аудита, вы можете захотеть сохранить значительное количество файлов журналов. Файлы журналов сжимаются до удивительно малых размеров, поэтому их легко сохранить в большом количестве.

Мы настраиваем процессы автоматического сжатия -> архивирования и, в конечном итоге, удаления на основе наших политик хранения, чтобы свести к минимуму системное администрирование.

Но зачем их удалять, если их можно просто bzip2 / tar / cpio.
Текстовые файлы имеют отличную степень сжатия.
Или просто заархивируйте их на магнитные ленты (дешевое и долговечное) со сжатием или без него.

Перед поворотом ограничьте размер. Необработанные файлы меньшего размера будут записывать меньше времени на вашем веб-сервере, пока они сжимаются.

Сколько ротационных журналов вы хотите хранить - это отдельный вопрос.

На производственной машине я их вообще не удаляю, а просто архивирую, как указано выше.

Но на машине разработки журналы полезны только в течение короткого времени, поэтому имеет смысл не допускать, чтобы они заполняли слишком много дискового пространства - особенно на машине, где корневая файловая система находится на SSD, а не на жестком диске (много меньшие размеры дисков).