Я заметил, что за ночь elasticsearch потребляет более 30 ГБ дискового пространства. Для сравнения, общий размер всех журналов, которые я хотел проиндексировать, составляет всего 5 ГБ ... Ну, даже не так, скорее, 2,5–3 ГБ. Есть ли причина для этого и есть ли способ перенастроить его? Я использую стек ELK.
Вы также можете изменить сопоставление (или шаблон, который генерирует сопоставление), чтобы удалить поле _source.
http://www.elastic.co/guide/en/elasticsearch/reference/master/mapping-source-field.html
Также увеличение пространства более эффективно в новых версиях.
... о, а вы смотрите на общий размер (включая любые реплики)
У вас всегда есть какие-то накладные расходы, когда вы храните свои журналы в ES, потому что ES будет хранить каждую отдельную строку из ваших журналов как документ (в json) с добавленной информацией.
Подсчитайте количество строк в журнале и сравните его с количеством документов в вашем индексе, чтобы выяснить, возможно, существует цикл или дублирование данных.
Покажите нам свой elasticsearch.yml для получения дополнительной информации и укажите, какие журналы вы отправляете в ES.