У меня есть наборы подробных лог-файлов, о которых я буду неоднократно сожалеть в ходе решения проблемы.
Обычно у меня есть наборы по 1–10 ГБ по 50–150 файлов, с которыми я провожу несколько часов, а потом больше не просматриваю.
Даже с твердотельным накопителем и большим объемом оперативной памяти получение результатов может занять несколько десятков секунд. Он также привязывает только 1 ядро, поэтому, если бы он мог искать параллельно, это тоже было бы хорошо.
Мне интересно, могу ли я сделать что-нибудь лучше, индексируя каким-то образом. Было бы неплохо потратить несколько минут вперед, чтобы позже улучшить производительность.
Желательно, чтобы это было что-то, что я могу запустить на терминале в каталоге и иметь такой интерфейс, как grep. Затем, в конце, я могу полностью удалить папку, что также удалит индекс.
Возможно ли это и существует ли что-нибудь? Какой у меня следующий лучший вариант?
Ваш лучший выбор, вероятно, будет сложнее, чем вы готовы настроить, учитывая ваши требования, такие, что они есть.
Используйте стек агрегации журналов, который может читать / отслеживать файлы за вас ( дымоходпроиндексируйте их Эластичный поиск и представить красивый интерфейс Кибана для тебя.
Просто настройте его, чтобы удалять их так часто, как хотите.
это только один стек решений, проверьте logstash а также многие другие