Я использую стек ELK для мониторинга сервера. Журналы доступа к моему приложению из AWS ELB хранятся в AWS S3. Я пытаюсь добавить их в logstash со следующим вводом:
input {
s3 {
access_key_id => "my_id"
secret_access_key => "my_key"
bucket => "my_bucket"
region => "region"
prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/**/**/**/*.log"
type => "elb"
}
}
Но в logstash ничего не добавляется, что делаю не так? Есть ли другой способ добавить их в логсташ? Части фильтра и вывода кажутся нормальными, поэтому я их не публикую.
Примечание: я использую версию logstash 2.1.
Не могли бы вы добавить sincedb_path => "/tmp/alb-sincedb" и оставьте префикс как prefix => "AWSLogs/"?
Также было бы здорово, если бы вы установили последнюю версию input s3 gem. Я считаю, что видел изменения, связанные с итерацией объектов внутри корзины с использованием префикса с использованием API ресурсов V2. Моя текущая версия logstash-input-s3-3.1.2.gem.
Вроде префикс должен быть, так как плагин не поддерживает globs (*):
prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"
Полный пример:
input {
s3 {
access_key_id => "my_id"
secret_access_key => "my_key"
bucket => "my_bucket"
region => "region"
prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"
}
}