Я подумываю настроить наши серверы для входа в базу данных Mongo, а не в файлы журнала. Тогда все журналы будут храниться на одном сервере, их можно будет запрашивать и в целом будет проще управлять.
Я бы хотел найти решение, которое позволит всем различным процессам, которые я выполняю, записывать в БД, а не в файлы (или, возможно, что-то для чтения файлов, передачи журналов и усечения файлов). Я не хочу, чтобы мне приходилось искать разные решения для каждого процесса, если я могу этого избежать.
Итак, кто-нибудь знает о существующем решении этой проблемы?
Вы не очень понимаете, какие журналы (системные, веб-сайты, другие?) Вы хотите отправить в MongoDB, но, поскольку большинство вещей можно выгрузить в системный журнал тем или иным способом, это, вероятно, самый простой путь.
syslog-ng поддерживает вход в MongoDB прямо, поэтому все, что вы можете ввести в системный журнал, будет довольно легко затем вставить в MongoDB с помощью этого решения.
Чтобы узнать о других возможных решениях, взгляните на свободно, и конечно есть другие варианты там для ведения журнала базы данных с помощью syslog.
я использую Logstash с участием Кибана. Есть множество способов получить журналы из файлов и из системного журнала для входа в Logstash. Он использует Elasticsearch в качестве основного сервера, но также может ввести в Mongodb.
Если вы пройдете свой путь через централизованный или автономный здесь, вы получите довольно хорошее начало.
MongoDB не очень поможет, если все, что вам нужно, - это простое решение. Вам нужно заранее спланировать то, что вам нужно, чтобы получить преимущества. Фактически, может иметь смысл изучить СУБД, если выгрузка данных журнала - это все, что вам нужно, поскольку это позволит вам включить сжатие, в то время как MongoDB в некоторых случаях может потреблять больше дискового пространства и требовать больше оперативной памяти, чем MySQL, при неправильном использовании. Посмотрите здесь сравнение использования дискового пространства между MySQL и MongoDB: http://blog.trackerbird.com/content/mysql-vs-mongodb-disk-space-usage/