У меня 12 смешанных узлов базы данных Ubuntu 12/14 Cassandra. Все узлы представляют собой металлические узлы с твердотельными накопителями, сетевыми картами 1 Гб и все они размещены в одном контроллере домена (управляемый коло).
При легкой работе задержка между всеми узлами и нашими облачными узлами (в том числе в том же DC) составляет менее 1 мс.
Когда я начинаю увеличивать количество операций записи в узлы базы данных, задержки между этими узлами базы данных сильно возрастают до 300 мс. Загрузка ЦП также составляет около 1 (4 физических ядра), загрузка диска ниже 3%, а с помощью dstat нагрузка сети составляет около 18 МБ.
Локальное чтение и запись в Cassandra относительно быстрые, поэтому я исключил перегрузку уровня приложения.
Какие инструменты и настройки мне следует изучить, чтобы понять, почему у меня такая низкая задержка? У меня есть инструменты мониторинга для просмотра этих проблем, я не знаю, с чего начать их диагностику.
Моя отправная точка для подобных проблем обычно perf top. Это быстро даст вам представление о том, на что вы тратите больше всего времени. Видеть https://perf.wiki.kernel.org/index.php/Tutorial для хороших примеров того, как его использовать.