Мы хотим хранить лог-файлы, чтобы они были легко доступны для поиска и были доступны в течение длительного периода времени. Проблема в том, что нужно заархивировать несколько серверов.
Я просмотрел несколько решений на основе баз данных. База данных - это практически единственный способ хранить эти данные, чтобы их можно было анализировать и искать. Проблема в том, что базы данных идут одним из двух способов. Большинство решений сосредоточено только на хранении данных, что можно рассматривать как отсутствие индексов. Индексы легко создавать, но при создании индексов база данных начинает бесконтрольно расти.
Я ищу решение, которое предлагает баланс между этими крайностями. Я хочу иметь относительно хорошие возможности поиска (поиск целых слов или IP-адресов), в то время как база данных остается относительно небольшой.
Я видел, что база данных с ~ 4 ГБ данных выросла до 40 ГБ только из-за индексов.