Возможный дубликат:
Альтернативы Splunk?
Это обсуждалось, но прошло несколько месяцев, поэтому, возможно, пришло время вернуться к этому:
Ранее обсуждение альтернатив RE Splunk
Для справки, Splunk крут. Но цены просто выходят за рамки того, что мы можем рассмотреть (когда я сегодня говорил со Splunk, стоимость системы, индексирующей 5 ГБ данных в день, составляет более 30 000 долларов).
Это больше, чем мы тратим на SQL Server (во много раз больше), больше, чем мы тратим на стойку серверов (в несколько раз) и т.д.
Отдел продаж splunk прав (что за 30 тысяч долларов мы получаем больше ценности и функциональности, чем если бы мы потратили то же самое на построение нашей собственной системы), но это не имеет значения. Стоимость splunk просто завышена (в несколько раз).
Ооооооо, мы смотрим вокруг!
Кто-нибудь строит подобную splunk систему?
Наша основная потребность:
В настоящее время нам нужно индексировать 3-5 ГБ / день, но необходимо иметь возможность масштабирования до 10 ГБ / день или больше. Нам не нужно много истории (30 дней - нормально).
Мы используем серверы Windows 2008 и 2003.
Спасибо за ваши мысли!
ОБНОВИТЬ: Мы потратили две недели на изучение коммерческих вариантов и вариантов с открытым исходным кодом. Наш вывод: напишите свое (мы софтверная компания ... мы умеем писать). Мы создали отличную систему, основанную на mongodb и .NET, которая дает нам функции, которые нам нужны от MongoDB, примерно за одну инженерную неделю. Мы завершили нашу реализацию. Мы используем два сервера Mongodb (главный и подчиненный) и можем регистрировать и индексировать любой объем данных журнала (5 ГБ / день, 15 ГБ / день и т. Д.), Ограниченный только дисковым пространством.
ОБНОВЛЕНИЕ К ОБНОВЛЕНИЮ (декабрь 2012 г.): Мы продолжаем использовать наше решение mongodb, и оно отлично работает! Если бы мы создавали его сегодня, мы бы настоятельно рекомендовали построить его на основе elasticsearch.
НАБЛЮДЕНИЯ: Это пространство требует надежного решения с фиксированной ставкой $ 1000–3000. Модели лицензирования, используемые коммерческими фирмами, основаны на модели «доить ребят из центра обработки данных». Это их право (конечно!), Но это оставляет ОГРОМНОЕ пространство, открытое для кого-то, кто может войти под ними. Я предполагаю, что через год или два появится хорошее решение с открытым исходным кодом, которое действительно можно будет использовать.
Спасибо всем за ваш вклад (даже если это была самореклама).
logstash - это инструмент для управления событиями и журналами. Вы можете использовать его для сбора журналов, их анализа и сохранения для последующего использования (например, для поиска). Говоря о поиске, logstash поставляется с веб-интерфейсом для поиска и детализации всех ваших журналов.
https://www.elastic.co/products/logstash
Он все еще находится на ранней стадии разработки, но звучит многообещающе и быстро развивается.
У меня в голове нет сравнительной матрицы, особенно когда дело касается сравнения с splunk:
Вот некоторые полностью работающие инструменты:
Осьминог http://www.octopussy.pm
Логотчет http://www.logreport.org/
Малый барабан: http://www.intersectalliance.com/projects/index.html
Журнал серфера: http://www.crypt.gen.nz/logsurfer/
Анализатор журналов: http://loganalyzer.adiscon.com/
Хронология журнала 2: http://log2timeline.net/#download (это скорее инструмент анализа временной шкалы)
Наконец, если вы хотите написать код самостоятельно, но, возможно, у вас есть более масштабируемое решение: (ниже представлены инструменты для сбора данных журнала, они не обязательно должны иметь все стандартные функции для поиска в данных.)
Хону https://github.com/jboulon/Honu
Чуква http://wiki.apache.org/hadoop/Chukwa
Лоток http://archive.cloudera.com/cdh/3/flume/
Изменить: добавлена ссылка на сравнение: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html
Изменить: добавлено Graylog2: Добавлено Logstash. Logstash, вероятно, лучше всех позиционируется на сегодняшний день, чтобы стать «заменой splunk с открытым исходным кодом».