Есть ли какие-нибудь хорошие руководства по аппаратному уровню для поддержки ElasticSearch? Рекомендации по Lucene или Solr - хорошее начало? Мы планируем развернуть развертывание, начиная с
Затем увеличьте это примерно в 10 раз, чтобы
Это странный случай использования, когда количество запросов может составлять тысячи в день, но время отклика должно оставаться достаточно низким для хорошего опыта работы с веб-приложением Ajaxy.
Существует множество факторов, которые могут иметь значение, поэтому я не думаю, что существует много общих рекомендаций.
Вам следует провести оценку в меньшем масштабе, возможно, с 1/5 начального набора данных, чтобы увидеть, как все будет вести себя, когда вы добавляете ожидаемую нагрузку индексации и поиска при настройке. Это гарантирует, что вы поймете, сколько места ваши данные фактически будут занимать в поисковой системе. Для elasticsearch это зависит от того, храните ли вы исходный json, и как поля анализируются и сохраняются ли они.
EC2 может быть разумным способом оценки elasticsearch без больших затрат времени / времени.
Для программного обеспечения на основе кластеров, такого как elasticsearch, существует компромисс между уменьшением размера кластера и увеличением его размера. Большой кластер хорош, потому что, когда вы теряете сервер, нужно перераспределять меньше данных. Кластер меньшего размера потребляет меньше энергии и его легче обслуживать.
Мы запускаем кластер с 35 миллионами документов с общим размером индекса около 300 ГБ x 2, поскольку все индексы реплицируются. Для поддержки этого и очень большого количества поисков у нас есть 4 узла, каждый с 24 ядрами, 48 ГБ ОЗУ и 1 ТБ хранилища с дисками 10 КБ в raid10. Недавно мы увеличили размер диска, чтобы у нас было больше свободного места.
В вашем случае я бы рекомендовал больше ОЗУ и больше диска. С таким объемом поиска вы, вероятно, сможете сэкономить на процессорах.
Низкий объем поиска на самом деле снижает производительность, поскольку кеши (как внутренние по отношению к используемому программному обеспечению, так и на диске ОС) плохо нагреваются.
Надеюсь, это поможет, Пол