Назад | Перейти на главную страницу

Как я могу обрабатывать огромные файлы журналов?

Я использую SSD-серверы, потому что у меня большой опыт работы с производительностью. Однако у меня есть веб-серверы, которые обслуживают множество запросов, и несжатые файлы журнала за один день имеют тенденцию вырастать из базы данных.

У меня есть обычные файлы журнала веб-сервера стандартного формата.

Есть ли способ сжать их "на лету"?

Logrotate

Эта утилита может автоматически сообщать вашему демону о необходимости переключения журналов при их переименовании и сжатии. Поскольку одного дня недостаточно, вы также можете запускать его ежечасно. Даже если входить ежечасно, вы все равно можете соединить их по дням после сжатия GZip.

Сжатая файловая система

Btrfs можно настроить прозрачное шифрование, автоматически экономя место в фоновом режиме. Некоторые другие файловые системы (ZFSи т. д.).

Компрессионная труба

Apache войдет прямо в канал и большинство приложений будут писать в канал имени (mkfifo), который вы можете прикрепить к своей программе сжатия.