Анализ журнала AWStats - пользовательский формат журнала Nginx

Я наконец решил это после примерно 6 часов усилий. Ключевая проблема заключалась в том, что у меня была неправильная конфигурация сайта AWStats, но я не думаю, что мой формат журнала Nginx или строка формата AWStats тоже были правильными.

Вот мой рабочий формат журнала Nginx. Это стандартный комбинированный формат журнала Nginx, который сопоставляется с awstats LogFormat = 1 плюс три дополнительных поля, которые я хотел в своих журналах.

# /etc/nginx/nginx.conf
log_format combined_custom '$remote_addr - $remote_user [$time_local] '
                '"$request" $status $body_bytes_sent '
                '"$http_referer" "$http_user_agent" $host $request_time $upstream_cache_status';

Конечно, мне пришлось использовать эту конфигурацию на моем сервере. Это в моем серверном блоке.

# /etc/nginx/sites-enabled/example.com.conf
access_log  /var/log/nginx/access.log combined_custom;

Вот файл конфигурации моего сайта AWStats. Это расширяет файл /etc/awstats/awstats.conf.local со значениями для конкретного сайта.

Обратите внимание, что одна из проблем заключалась в том, что у меня был неправильный SiteDomain - я пропустил «www» в начале своего домена. Я сделал это потому, что думал, что HostAliases позволит мне добавить субдомен www в качестве псевдонима, но это не то, для чего это нужно. Это чтобы

Этот параметр [HostAliases] используется для анализа поля реферера в файле журнала и помогает AWStats узнать, является ли URL реферала локальным URL того же сайта или URL другого сайта.

# /etc/awstats/awstats.example.com.conf
# Path to you nginx vhost log file
LogFile="/var/log/nginx/access.log"

# Domain of your vhost
SiteDomain="www.example.com"

# Directory where to store the awstats data
DirData="/var/lib/awstats/example/"

# Other alias, basically other domain/subdomain that's the same as the domain above
HostAliases="localhost"

# Performance optimisation
DNSLookup=0

# This works with the Nginx combined log format
# LogFormat=1

# This is the equivalent of LogFormat=1
# LogFormat="%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"

# This adds my custom fields
LogFormat="%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot %virtualname %other %other"

Я не пошел дальше в том, чтобы заставить AWStats работать, но как только я это сделаю, я обновлю этот пост, добавив все, что мне покажется сложным.

Спасибо @Tero Kilkanen за методологию решения этого вопроса, то есть начать с комбинированного формата и работать дальше.

Одна из возможных проблем здесь:

log_format  main  '$remote_addr - $remote_user [$time_local]...

Соответствующая конфигурация в AWStats:

LogFormat = "%host %logname %time1

И ваш файл журнала содержит:

1.1.1.1 - - [12/Mar/2017:07:23:53 +1300]

%logname соответствует только одной строке, то есть имени пользователя, указанному в HTTP-аутентификации. Теперь ваш файл журнала содержит два дефиса: первое из вашей конфигурации, а второе означает пустое имя пользователя.

Итак, AWStats пытается интерпретировать второе тире как метку времени, и это заставляет его считать запись неудачной.

Итак, вам нужно либо добавить тире в строку формата журнала AWStats, либо удалить тире из формата журнала nginx.

В качестве примечания: вам не нужно указывать последние параметры ($request_time, $upstream_cache_status, $sent_http_content_encoding) в журнале nginx, поскольку они не могут содержать пробелов.

Вы также можете использовать %extraX в конфигурации AWStats, если вы хотите использовать эту информацию при построении отчетов на основе этих фактов.