Раз в день я хочу запускать AWStats для файлов журнала веб-сервера, созданных несколькими серверами с балансировкой нагрузки. Мне нужен эффективный способ их переноса в одно место. Есть ли уже инструмент, который может это сделать?
В противном случае я думал использовать задание cron для grep для текущего дня, а затем tar и gzip файлы перед их отправкой, чтобы я мог объединить и проанализировать их. Это хороший подход или вы можете предложить лучший подход?
Спасибо!
Просто синхронизируйте журналы с вашей аналитической машиной, и вы избавитесь от кучи ненужной логики.
Используйте rsync
Я бы использовал rsync в работе cron. Быстро, надежно, просто.
Есть инструменты, которые предназначены для Центральная система управления журналами для Linux это не требует их копирования. По крайней мере, не в том смысле, о котором вы говорите, вы можете просто настроить монтирование NFS или установить клиентов на машины.
Простой вариант с приятным веб-интерфейсом - это Splunk, это бесплатно до 500 МБ в день индексации без аутентификации для веб-интерфейса.
Классический более ручной метод syslog-ng который может уже быть в вашей системе. Вот учебник по настройке центрального сервера журналов с этим.
В Инструменты AWstats вы можете найти сценарий Perl (logresolvemerge.pl) для слияния файлов журнала в случае балансировки нагрузки. Этот сценарий может помочь вам ПОСЛЕ копирования (rsync - хороший выбор - см. Ответы jodiek и KPWINC) журналов веб-сервера.
Рассматривали ли вы возможность использования NFS на серверах для монтирования каталога с другого сервера?