Я пытаюсь найти способ проанализировать наши журналы доступа к Amazon S3, чтобы получить некоторую веб-статистику.
Я пытался использовать AWStats 7, но дошел до того, что после 9 дня данного месяца он не может больше обрабатывать журналы, потому что у него заканчивается память. У этого сервера 4 гигабайта памяти
Наши журналы S3 довольно большие (~ 1 ГБ / день), и вскоре журналы CloudFront могут составлять 10-20 ГБ / день.
Есть ли какое-нибудь программное обеспечение, которое может генерировать веб-статистику из журналов S3 (а вскоре и облачного интерфейса)?
Я знаю о s3stat.com, но мне нужно что-то, что я могу запустить самостоятельно.
Я бы предложил GoAccess. Мы анализируем около 120 миллионов обращений примерно за 35 минут, что намного быстрее, чем awstats. Похоже, барана не потребляет много. (<1 ГБ) Он работает в системе с 8 ГБ ОЗУ.
Тем не менее, вы должны попробовать.
Я бы подумал о запуске karmasphere analyst на EMR для выполнения SQL-запросов к вашему каталогу журналов CloudFront (KSA знает, как делать запросы из bucket-> folder-> gzip ->. Log)