Я изучаю создание инфраструктуры системного журнала / ведения журналов и размышляю о некоторых передовых методах архитектуры. По сути, я вижу, что система syslog должна поддерживать две конфликтующие рабочие нагрузки:
Какова наилучшая настройка диска / системы, если я хочу пока оставить ее на одном сервере? Что мне следует использовать для разгрузки обработки - SSD или RAM-диск? некоторые диски в полосе и некоторые в raid5?
Я особенно внимательно смотрю Graylog2 с ElasticSearch / MongoDB
Во-первых, я думаю, что это помогает определить значение журналов, например. Если это журналы финансовых транзакций большого объема, вы можете выбрать рейд-контроллеры очень высокого уровня с большим количеством кэша с резервным питанием от батареи и высокопроизводительные диски с тегами записи или NCQ.
В общем случае файловая система ZFS очень полезна, вы можете использовать жесткие диски для той дешевой емкости, которую они предлагают, а затем добавлять SSD в качестве кеша для чтения (кеш L2 ARC в ZFS), когда они вам понадобятся. Если запись становится узким местом, вы можете использовать SSD для ZIL (фактически, кэш записи в ZFS). Хорошо, что все это просто работает, по моему опыту, тоже хорошо.
Продолжая рассматривать конфликтующие проблемы рабочей нагрузки, такой продукт, как Cassandra (есть много других вариантов), имеет архитектуру, которая аккуратно и эффективно решает эти требования.