Мне нужна помощь в выборе серверной части базы данных для установки iptables ulogd.
Мы собираемся заменить наш текущий проприетарный брандмауэр на iptables, и одно из требований - регистрировать весь трафик, перенаправляемый брандмауэром.
Глядя на наши текущие журналы, мы регистрируем около 4000000-5000000 записей за 24 часа, поэтому база данных должна быть быстрой при вставках.
Сервер представляет собой установку Debian Wheezy, поэтому мы предпочитаем использовать базу данных, которую можно поддерживать с помощью aptitude.
В настоящее время мы рассматриваем следующее:
После выбора базы данных возникает также вопрос, какой механизм хранения подходит для нашей рабочей нагрузки?
Я немного поигрался с идеей, чтобы ulogd вставлял в механизм в памяти, а затем перемещал данные в базу данных механизма хранения на диске через определенные промежутки времени. Кто-нибудь делал что-то подобное раньше?
Я думаю, ответ будет зависеть от того, что вам нужно делать с этими данными. Если вы ищете обработку (поиск) в реальном времени, то вам, вероятно, понадобится (масштабируемая) поисковая система, например Elasticsearch или Solr. Вот две ссылки, с которых можно начать работу по этим двум:
Это с Elasticsearch: http://blog.sematext.com/2013/09/24/presentation-on-centralizing-logs/
Это с Solr: http://blog.sematext.com/2013/11/11/presentation-solr-for-indexing-and-searching-logs/
Если вам нужна пакетная обработка, вам, вероятно, будет лучше с Hadoop. Хотя у вас может быть дизайн, который может делать и то, и другое. И поисковые системы включают все больше и больше аналитических возможностей, как это делает Elasticsearch с агрегатами.