Назад | Перейти на главную страницу

Работа AWStats cron 'awstats.pl' занимает более 24 часов

У нас проблемы с фоновым заданием AWStats при чтении access.log файл: awstats.pl сценарии берет более 24 часов и кажется, что никогда не закончится.

У нас есть веб-сайт, который просматривает более 8 миллионов страниц в день, 2 GB Apache access.log файл каждый день.

Вот журнал команд, когда мы пытались запустить awstats.pl скрипты вручную:

root@hostname:~# /usr/lib/cgi-bin/awstats.pl -config=org.mysite -update

Create/Update database for config "/etc/awstats/awstats.org.mysite" by AWStats version 7.4 (build 20150714)
From data in log file "/var/log/apache2/org.mysite-access.log"...

Phase 1 : First bypass old records, searching new record...
Direct access to last remembered record is out of file.
So searching it from beginning of log file...

Phase 2 : Now process new records (Flush history on disk after 20000 hosts)...
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
Flush history file on disk (unique url reach flush limit of 5000)
^C

Мы используем ctrl+C остановиться здесь, так как прошло более 1 часа.

Мы попытались отключить поиск DNS (установить как 0) ну не помогло:

Отредактируйте файл /etc/awstats/awstats.org.mysite.conf

 # 0 - No DNS Lookup
 # 1 - DNS Lookup is fully enabled
 # 2 - DNS Lookup is made only from static DNS cache file (if it exists)
 # Default: 2
 DNSLookup=0

Оборудование не должно быть узким местом, это ovh.com HOST-128L выделенный сервер

Intel Xeon D-1520 - 4 ядра / 8 потоков
128 ГБ DDR4 ECC 2133 МГц
2 x 480 ГБ / SSD

Операционная система Ubuntu 16.04.3 LTS

root@hostname:~# cat /etc/*-release

NAME="Ubuntu"
VERSION="16.04.3 LTS (Xenial Xerus)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 16.04.3 LTS"
VERSION_ID="16.04"
VERSION_CODENAME=xenial

Так,

Есть ли у нас что-нибудь, чтобы улучшить производительность AWStats?
Или мы достигли порога производительности AWStats?