Назад | Перейти на главную страницу

Статистическая информация о масштабировании ElasticSearch

У меня есть настройка с несколькими узлами Logstash, отправляющими входные данные в ElasticSearch, и есть сервер kibana, который позволяет мне визуализировать это.

Текущая инфраструктура довольно упрощена и находится на машинах с одним узлом. Мы планируем расширить его до более крупного испытательного стенда. Однако, прежде чем инвестировать в масштабное развертывание ELK, я хочу лучше понять, насколько хорошо он масштабируется и его параметры производительности.

Мне не удалось найти цифры на веб-сайте Elastic Search или в их тематических исследованиях.

Вопросы такие:

  1. Насколько хорошо эластичный поиск масштабируется? Сколько журналов в секунду он может потреблять, сколько узлов требуется? Подойдут любые цифры или понимание.

  2. Насколько хорошо он работает со временем в качестве индексов, мы визуализируем, что вариант использования представляет собой скорее структурированные запросы. В частности, как это соотносится с SQL-подобными базами данных. Одна из поднятых проблем заключается в том, что было бы лучше использовать базы данных SQL, если бы мы заранее знали структуру журнала. Нам не обязательно нужны функции поисковой системы, если производительность является большим узким местом.

Я новичок в управлении серверами ELK / SQL, поэтому, пожалуйста, извините меня, если вопросы кажутся некорректными.

В тематические исследования на сайте эластика есть некоторые цифры, например, из тематического исследования с собакой данных:

В Stack Exchange мы очень хорошо нашли эластичные шкалы (используя для logstash, haproxylogs (~ 150 миллионов записей журнала в день) и syslog / eventlog, а также для поиска этого сайта), но первое, что вам нужно сделать, это сделать количественно оценить вашу нагрузку. С резинкой вроде бы было:

  • Документы (запись в журнале) ставка
  • Скорость запроса
  • Размер данных

и т.д...