У меня есть настройка с несколькими узлами Logstash, отправляющими входные данные в ElasticSearch, и есть сервер kibana, который позволяет мне визуализировать это.
Текущая инфраструктура довольно упрощена и находится на машинах с одним узлом. Мы планируем расширить его до более крупного испытательного стенда. Однако, прежде чем инвестировать в масштабное развертывание ELK, я хочу лучше понять, насколько хорошо он масштабируется и его параметры производительности.
Мне не удалось найти цифры на веб-сайте Elastic Search или в их тематических исследованиях.
Вопросы такие:
Насколько хорошо эластичный поиск масштабируется? Сколько журналов в секунду он может потреблять, сколько узлов требуется? Подойдут любые цифры или понимание.
Насколько хорошо он работает со временем в качестве индексов, мы визуализируем, что вариант использования представляет собой скорее структурированные запросы. В частности, как это соотносится с SQL-подобными базами данных. Одна из поднятых проблем заключается в том, что было бы лучше использовать базы данных SQL, если бы мы заранее знали структуру журнала. Нам не обязательно нужны функции поисковой системы, если производительность является большим узким местом.
Я новичок в управлении серверами ELK / SQL, поэтому, пожалуйста, извините меня, если вопросы кажутся некорректными.
В тематические исследования на сайте эластика есть некоторые цифры, например, из тематического исследования с собакой данных:
В Stack Exchange мы очень хорошо нашли эластичные шкалы (используя для logstash, haproxylogs (~ 150 миллионов записей журнала в день) и syslog / eventlog, а также для поиска этого сайта), но первое, что вам нужно сделать, это сделать количественно оценить вашу нагрузку. С резинкой вроде бы было:
и т.д...