Назад | Перейти на главную страницу

Splunk фантастически дорогой: какие есть альтернативы?

Возможный дубликат:
Альтернативы Splunk?

Это обсуждалось, но прошло несколько месяцев, поэтому, возможно, пришло время вернуться к этому:

Ранее обсуждение альтернатив RE Splunk

Для справки, Splunk крут. Но цены просто выходят за рамки того, что мы можем рассмотреть (когда я сегодня говорил со Splunk, стоимость системы, индексирующей 5 ГБ данных в день, составляет более 30 000 долларов).

Это больше, чем мы тратим на SQL Server (во много раз больше), больше, чем мы тратим на стойку серверов (в несколько раз) и т.д.

Отдел продаж splunk прав (что за 30 тысяч долларов мы получаем больше ценности и функциональности, чем если бы мы потратили то же самое на построение нашей собственной системы), но это не имеет значения. Стоимость splunk просто завышена (в несколько раз).

Ооооооо, мы смотрим вокруг!

Кто-нибудь строит подобную splunk систему?

Наша основная потребность:

В настоящее время нам нужно индексировать 3-5 ГБ / день, но необходимо иметь возможность масштабирования до 10 ГБ / день или больше. Нам не нужно много истории (30 дней - нормально).

Мы используем серверы Windows 2008 и 2003.

Спасибо за ваши мысли!

ОБНОВИТЬ: Мы потратили две недели на изучение коммерческих вариантов и вариантов с открытым исходным кодом. Наш вывод: напишите свое (мы софтверная компания ... мы умеем писать). Мы создали отличную систему, основанную на mongodb и .NET, которая дает нам функции, которые нам нужны от MongoDB, примерно за одну инженерную неделю. Мы завершили нашу реализацию. Мы используем два сервера Mongodb (главный и подчиненный) и можем регистрировать и индексировать любой объем данных журнала (5 ГБ / день, 15 ГБ / день и т. Д.), Ограниченный только дисковым пространством.

ОБНОВЛЕНИЕ К ОБНОВЛЕНИЮ (декабрь 2012 г.): Мы продолжаем использовать наше решение mongodb, и оно отлично работает! Если бы мы создавали его сегодня, мы бы настоятельно рекомендовали построить его на основе elasticsearch.

НАБЛЮДЕНИЯ: Это пространство требует надежного решения с фиксированной ставкой $ 1000–3000. Модели лицензирования, используемые коммерческими фирмами, основаны на модели «доить ребят из центра обработки данных». Это их право (конечно!), Но это оставляет ОГРОМНОЕ пространство, открытое для кого-то, кто может войти под ними. Я предполагаю, что через год или два появится хорошее решение с открытым исходным кодом, которое действительно можно будет использовать.

Спасибо всем за ваш вклад (даже если это была самореклама).

logstash - это инструмент для управления событиями и журналами. Вы можете использовать его для сбора журналов, их анализа и сохранения для последующего использования (например, для поиска). Говоря о поиске, logstash поставляется с веб-интерфейсом для поиска и детализации всех ваших журналов.

https://www.elastic.co/products/logstash

Он все еще находится на ранней стадии разработки, но звучит многообещающе и быстро развивается.

У меня в голове нет сравнительной матрицы, особенно когда дело касается сравнения с splunk:

Вот некоторые полностью работающие инструменты:

Осьминог http://www.octopussy.pm

Логотчет http://www.logreport.org/

Малый барабан: http://www.intersectalliance.com/projects/index.html

Журнал серфера: http://www.crypt.gen.nz/logsurfer/

Анализатор журналов: http://loganalyzer.adiscon.com/

Хронология журнала 2: http://log2timeline.net/#download (это скорее инструмент анализа временной шкалы)

Наконец, если вы хотите написать код самостоятельно, но, возможно, у вас есть более масштабируемое решение: (ниже представлены инструменты для сбора данных журнала, они не обязательно должны иметь все стандартные функции для поиска в данных.)

Хону https://github.com/jboulon/Honu

Чуква http://wiki.apache.org/hadoop/Chukwa

Лоток http://archive.cloudera.com/cdh/3/flume/

Изменить: добавлена ​​ссылка на сравнение: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

Изменить: добавлено Graylog2: Добавлено Logstash. Logstash, вероятно, лучше всех позиционируется на сегодняшний день, чтобы стать «заменой splunk с открытым исходным кодом».