Мне нужно получить смутное представление о требованиях к дисковому пространству, прежде чем я начну пересылать журналы в экземпляр Splunk. Каждая проиндексированная строка будет содержать в среднем 320 символов, и я буду индексировать около 500 000 строк в день.
Мои предположения - 1 байт на символ, и я игнорирую пространство, занимаемое Splunk для индексов и т. Д. Это 160 МБ в день.
Вы бы сказали, что это наполовину точно или совершенно не соответствует действительности?
Если ваши журналы не являются очень случайными, я думаю, вы будете очень довольны тем, сколько места Splunk сэкономит вам, если это, скажем, сообщения системного журнала или сообщения, которые вы получаете из apache / weblogic и т. Д., Тогда вы увидите очень резкое уменьшение необходимого пространства, возможно, на целых 80-90%.
Например, мы регистрируем около 17 ТБ в день и храним исходные журналы в течение 90 дней перед их удалением (мы фильтруем их в сводные индексы), и у нас есть примерно 160 ТБ «горячих» хранимых данных, что примерно на 90% меньше, чем входящий объем.
Надеюсь это поможет.