Назад | Перейти на главную страницу

Вывод Logstash в хранилище BLOB-объектов Azure

В настоящее время я импортирую журналы IIS в Logstash с помощью Filebeat, а Logstash настроен для вывода документов в Elasticsearch. Теперь я также хочу вывести свои журналы IIS в хранилище Azure (blob) для целей длительного резервного копирования, но я не могу найти способ сделать это.

Есть рабочий Плагин Logstash для вывода в AWS. Но мне нужно использовать хранилище BLOB-объектов Azure. Я не могу найти выходной плагин для Azure Blobstorage в эластичный выходной список, или где-нибудь еще ..

Есть ли способ вывести документы из Logstash в хранилище BLOB-объектов Azure?

Похоже, ценная функция. Думаю, это будет выглядеть примерно так, как показано ниже.

output {
    Azure_storage {
        account => "test"
        key => "SuperSecret"
        container => "Backup_Documents"
        blobName => "nameofblob"
    }
  }

Есть плагин с открытым исходным кодом: https://github.com/tuffk/Logstash-output-to-Azure-Blob

Базовая конфигурация:

  output {
       azure {
         storage_account_name => "my-azure-account"    # required
         storage_access_key => "my-super-secret-key"   # required
         container_name => "my-container"              # required
         size_file => 1024*1024*5                      # optional
         time_file => 10                               # optional
         restore => true                               # optional
         temporary_directory => "path/to/directory"    # optional
         prefix => "a_prefix"                          # optional
         upload_queue_size => 2                        # optional
         upload_workers_count => 1                     # optional
         rotation_strategy_val => "size_and_time"      # optional
         tags => []                                    # optional
         encoding => "none"                            # optional
       }
     }

Чтобы сделать плагин доступным в среде Logstash, выполните следующую команду:

bin/logstash-plugin install logstash-output-azure

Его нет ни в официальных плагинах, ни в списке плагинов, поддерживаемом сообществом. Кто-то, наверное, еще не написал. Или, если есть, они не делятся. Это может быть случай, когда вы выводите данные в локальный каталог и используете запланированную задачу для синхронизации каталога с хранилищем больших двоичных объектов. Мы используем этот метод для одного из незнакомых нам рабочих процессов.