В настоящее время я импортирую журналы IIS в Logstash с помощью Filebeat, а Logstash настроен для вывода документов в Elasticsearch. Теперь я также хочу вывести свои журналы IIS в хранилище Azure (blob) для целей длительного резервного копирования, но я не могу найти способ сделать это.
Есть рабочий Плагин Logstash для вывода в AWS. Но мне нужно использовать хранилище BLOB-объектов Azure. Я не могу найти выходной плагин для Azure Blobstorage в эластичный выходной список, или где-нибудь еще ..
Есть ли способ вывести документы из Logstash в хранилище BLOB-объектов Azure?
Похоже, ценная функция. Думаю, это будет выглядеть примерно так, как показано ниже.
output {
Azure_storage {
account => "test"
key => "SuperSecret"
container => "Backup_Documents"
blobName => "nameofblob"
}
}
Есть плагин с открытым исходным кодом: https://github.com/tuffk/Logstash-output-to-Azure-Blob
Базовая конфигурация:
output {
azure {
storage_account_name => "my-azure-account" # required
storage_access_key => "my-super-secret-key" # required
container_name => "my-container" # required
size_file => 1024*1024*5 # optional
time_file => 10 # optional
restore => true # optional
temporary_directory => "path/to/directory" # optional
prefix => "a_prefix" # optional
upload_queue_size => 2 # optional
upload_workers_count => 1 # optional
rotation_strategy_val => "size_and_time" # optional
tags => [] # optional
encoding => "none" # optional
}
}
Чтобы сделать плагин доступным в среде Logstash, выполните следующую команду:
bin/logstash-plugin install logstash-output-azure
Его нет ни в официальных плагинах, ни в списке плагинов, поддерживаемом сообществом. Кто-то, наверное, еще не написал. Или, если есть, они не делятся. Это может быть случай, когда вы выводите данные в локальный каталог и используете запланированную задачу для синхронизации каталога с хранилищем больших двоичных объектов. Мы используем этот метод для одного из незнакомых нам рабочих процессов.